Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Проблемы/вопросы, связанные с запуском под различными платформами и конфигурациями.

Модератор: immortal

ksv
Сообщения: 102
Зарегистрирован: Вт июл 17, 2018 10:19 am
Благодарил (а): 23 раза
Поблагодарили: 4 раза

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Сообщение ksv » Вт окт 08, 2019 11:12 am

Аа, ок
max_allowed_packet 16777216
C_3AXAPOB
Сообщения: 510
Зарегистрирован: Ср июн 08, 2016 4:17 pm
Благодарил (а): 124 раза
Поблагодарили: 101 раз

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Сообщение C_3AXAPOB » Вт окт 08, 2019 11:28 am

Вот и причина.16 мб а должен быть 64 мб.
В консоли mysql выполните

Код: Выделить всё

set global max_allowed_packet=67108864;
и все заработает. Но после перезагрузки системы слетит. На постоянку надо править файл my.conf настроек mysql. Как это сделать легко найдете в гугл.

ЗЫ: А вообще потом надо посмотреть что у вас так много в базу пишется и сроки хранения истории.
За это сообщение автора C_3AXAPOB поблагодарил:
ksv (Вт окт 08, 2019 12:04 pm)
Рейтинг: 1.16%
Orange pi pc plus, megaD-2561, Xiaomi
--------------------------------------------------
http://connect.smartliving.ru/profile/908
ksv
Сообщения: 102
Зарегистрирован: Вт июл 17, 2018 10:19 am
Благодарил (а): 23 раза
Поблагодарили: 4 раза

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Сообщение ksv » Вт окт 08, 2019 12:04 pm

Да, стало полегче, что-то заработало, но не всё. Пока пытаюсь понять что ещё не так. Как минимум циклы поднялись, MQTT online, но датчики по-прежнему тупят, но тут надо мне самому ещё подумать, у меня там логика непростая. Mysql тем не менее при перезугрузке сам не стартовал, пришлось запускать вручную, и в процессе еще падал, но сам перезапускался.

С размером БД буду разбираться, у меня данных пишется много, но стоит ограничение на срок хранения в 1 месяц, хотя вижу что старые данные не удалились. В общем, на данный момент у меня хотя бы есть куда дальше копать. Спасибо за помощь!
Аватара пользователя
prmres
Сообщения: 428
Зарегистрирован: Пт ноя 24, 2017 2:24 am
Откуда: оттуда
Благодарил (а): 113 раз
Поблагодарили: 123 раза

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Сообщение prmres » Чт окт 10, 2019 9:28 pm

ksv писал(а):
Вт окт 08, 2019 12:04 pm
Да, стало полегче, что-то заработало, но не всё. Пока пытаюсь понять что ещё не так. Как минимум циклы поднялись, MQTT online, но датчики по-прежнему тупят, но тут надо мне самому ещё подумать, у меня там логика непростая. Mysql тем не менее при перезугрузке сам не стартовал, пришлось запускать вручную, и в процессе еще падал, но сам перезапускался.

С размером БД буду разбираться, у меня данных пишется много, но стоит ограничение на срок хранения в 1 месяц, хотя вижу что старые данные не удалились. В общем, на данный момент у меня хотя бы есть куда дальше копать. Спасибо за помощь!
сколько у вас оперативки и какое значение у innodb-buffer-pool-size в конфиге мускула?
innodb-buffer-pool-size рекомендуют ставить в размере 70-80% от оперативы

хотя, нелавно имел опыт в VPS с 1 Гб оперативки (сайт + форум)
помогли 2 операции:
1. перевод БД (vBulletin 3) в myIsam
2. ограничение аппетита апача
без этого постоянно сжиралась вся доступная память и отрубался мускул, то есть симптомы были аналогичные

1-й пункт, видимо потивопоказан из-за карты памяти microSD
а вот второй можно попробовать, если у вас апач конечно
Не только лишь все!
ksv
Сообщения: 102
Зарегистрирован: Вт июл 17, 2018 10:19 am
Благодарил (а): 23 раза
Поблагодарили: 4 раза

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Сообщение ksv » Чт окт 10, 2019 10:08 pm

Я уже связался с Сергеем, и он мне почти всё починил, вот что было:
1. В базе данных таблица phistory_queue занимала 30Mb, хотя была с нулевым количеством записей -- это вылечилось запуском оптимизации таблицы через phpmyadmin
2. Необновлялась система (возможно из-за ошибки 1) -- высвободив места система обновилась через штатную процедуру и убрались артефакты в виде MODULE_ACTIONS_LOG
3. Через модуль Optimizer видно, что в отдельных свойствах слишком много данных (30 тысяч для одного свойства это много), но по какой-то причине оптимизатор при запуске не чистит лишние значения.
По последнему пункту я так и не понял, решилось или нет, Сергей больше не отвечает, и так на меня времени потратил дофига, вообще не понимаю когда он всё успевает. Но на данный момент работа восстановлена. Так что почему оптимайзер не чистит - непонятно, но почему там так много записей я знаю. Это была отдельная проблема, которая проявилась уже под конец общей проблемы. И это был мой косяк целиком и полностью. Некорректно написанный код для внешнего контроллера допускал ситуацию непреднамеренной ddos-атаки mqtt-брокера. Я просто положил сервер потоком сообщений, исчисляющимся десятками тысяч в секунду. Обнаружил это, когда подключился браузерным клиентом (MQTTLens для Хрома) и охренел от этого безумного потока. Код контроллера удалённо не поправить, просто пока отрубил его сетевой порт. Надо править на месте.

Хотя, к сожалению, причины возниконовения проблемы я так и не понял, и это печально, так как это может повториться.
innodb-buffer-pool-size в конфиге мускула
Это где и как посмотреть?
У меня RPi3, ОЗУ 512Мб.
Аватара пользователя
prmres
Сообщения: 428
Зарегистрирован: Пт ноя 24, 2017 2:24 am
Откуда: оттуда
Благодарил (а): 113 раз
Поблагодарили: 123 раза

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Сообщение prmres » Чт окт 10, 2019 10:50 pm

ksv писал(а):
Чт окт 10, 2019 10:08 pm
innodb-buffer-pool-size в конфиге мускула
Это где и как посмотреть?
в конфиге mysql
на убунте 16 сервер это тут: /etc/mysql/mariadb.conf.d/50-server.cnf
ksv писал(а):
Чт окт 10, 2019 10:08 pm
У меня RPi3, ОЗУ 512Мб.
мало памяти, очень
если апач, то попробуйте его покрутить, как - писал здесь: viewtopic.php?p=99459#p99459
Не только лишь все!
ksv
Сообщения: 102
Зарегистрирован: Вт июл 17, 2018 10:19 am
Благодарил (а): 23 раза
Поблагодарили: 4 раза

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Сообщение ksv » Пт окт 11, 2019 8:41 am

У меня innodb=OFF.
Памяти свободной сейчас примерно 80 Мб из 512. Послежу за поведением. Крутить апач это понимать надо что делаешь. Я там хоть и прочитал статьи, но я в этом ни бум-бум.
Аватара пользователя
prmres
Сообщения: 428
Зарегистрирован: Пт ноя 24, 2017 2:24 am
Откуда: оттуда
Благодарил (а): 113 раз
Поблагодарили: 123 раза

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Сообщение prmres » Пт окт 11, 2019 11:20 pm

ksv писал(а):
Пт окт 11, 2019 8:41 am
У меня innodb=OFF.
Памяти свободной сейчас примерно 80 Мб из 512. Послежу за поведением. Крутить апач это понимать надо что делаешь. Я там хоть и прочитал статьи, но я в этом ни бум-бум.
кручение апача, на которое я давал ссылку, заключается в дополнительной настройке ограничений запускаемых процессов и ограничении времени жизни этих процессов, ничего сложного, несколько строк конфига
решать конечно вам, но вот, например, эффект от подкручивания апача на моём сервере (падения мускула прекратились, расход памяти уменьшился):
2019-10-11_23-18-32.png
2019-10-11_23-18-32.png (20.03 КБ) 4151 просмотр
Не только лишь все!
ksv
Сообщения: 102
Зарегистрирован: Вт июл 17, 2018 10:19 am
Благодарил (а): 23 раза
Поблагодарили: 4 раза

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Сообщение ksv » Пн окт 14, 2019 9:37 am

Да я то только за, знать бы что и насколько подкручивать. Можете порекомендовать настройки?
Вот ваш вариант можно взять один в один? Я ж в этом не понимаю ничего.

Код: Выделить всё

KeepAlive Off
<IfModule prefork.c>
    StartServers        3
    MinSpareServers     3
    MaxSpareServers     9
    MaxClients          15
    ServerLimit         15
    MaxRequestsPerChild 3000
</IfModule>
Аватара пользователя
prmres
Сообщения: 428
Зарегистрирован: Пт ноя 24, 2017 2:24 am
Откуда: оттуда
Благодарил (а): 113 раз
Поблагодарили: 123 раза

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Сообщение prmres » Чт окт 17, 2019 8:01 pm

ksv писал(а):
Пн окт 14, 2019 9:37 am
Да я то только за, знать бы что и насколько подкручивать. Можете порекомендовать настройки?
Вот ваш вариант можно взять один в один? Я ж в этом не понимаю ничего.

Код: Выделить всё

KeepAlive Off
<IfModule prefork.c>
    StartServers        3
    MinSpareServers     3
    MaxSpareServers     9
    MaxClients          15
    ServerLimit         15
    MaxRequestsPerChild 3000
</IfModule>
можете взять один-в-один конечно
Не только лишь все!
Ответить