Страница 2 из 3

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Добавлено: Вт окт 08, 2019 11:12 am
ksv
Аа, ок
max_allowed_packet 16777216

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Добавлено: Вт окт 08, 2019 11:28 am
C_3AXAPOB
Вот и причина.16 мб а должен быть 64 мб.
В консоли mysql выполните

Код: Выделить всё

set global max_allowed_packet=67108864;
и все заработает. Но после перезагрузки системы слетит. На постоянку надо править файл my.conf настроек mysql. Как это сделать легко найдете в гугл.

ЗЫ: А вообще потом надо посмотреть что у вас так много в базу пишется и сроки хранения истории.

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Добавлено: Вт окт 08, 2019 12:04 pm
ksv
Да, стало полегче, что-то заработало, но не всё. Пока пытаюсь понять что ещё не так. Как минимум циклы поднялись, MQTT online, но датчики по-прежнему тупят, но тут надо мне самому ещё подумать, у меня там логика непростая. Mysql тем не менее при перезугрузке сам не стартовал, пришлось запускать вручную, и в процессе еще падал, но сам перезапускался.

С размером БД буду разбираться, у меня данных пишется много, но стоит ограничение на срок хранения в 1 месяц, хотя вижу что старые данные не удалились. В общем, на данный момент у меня хотя бы есть куда дальше копать. Спасибо за помощь!

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Добавлено: Чт окт 10, 2019 9:28 pm
prmres
ksv писал(а):
Вт окт 08, 2019 12:04 pm
Да, стало полегче, что-то заработало, но не всё. Пока пытаюсь понять что ещё не так. Как минимум циклы поднялись, MQTT online, но датчики по-прежнему тупят, но тут надо мне самому ещё подумать, у меня там логика непростая. Mysql тем не менее при перезугрузке сам не стартовал, пришлось запускать вручную, и в процессе еще падал, но сам перезапускался.

С размером БД буду разбираться, у меня данных пишется много, но стоит ограничение на срок хранения в 1 месяц, хотя вижу что старые данные не удалились. В общем, на данный момент у меня хотя бы есть куда дальше копать. Спасибо за помощь!
сколько у вас оперативки и какое значение у innodb-buffer-pool-size в конфиге мускула?
innodb-buffer-pool-size рекомендуют ставить в размере 70-80% от оперативы

хотя, нелавно имел опыт в VPS с 1 Гб оперативки (сайт + форум)
помогли 2 операции:
1. перевод БД (vBulletin 3) в myIsam
2. ограничение аппетита апача
без этого постоянно сжиралась вся доступная память и отрубался мускул, то есть симптомы были аналогичные

1-й пункт, видимо потивопоказан из-за карты памяти microSD
а вот второй можно попробовать, если у вас апач конечно

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Добавлено: Чт окт 10, 2019 10:08 pm
ksv
Я уже связался с Сергеем, и он мне почти всё починил, вот что было:
1. В базе данных таблица phistory_queue занимала 30Mb, хотя была с нулевым количеством записей -- это вылечилось запуском оптимизации таблицы через phpmyadmin
2. Необновлялась система (возможно из-за ошибки 1) -- высвободив места система обновилась через штатную процедуру и убрались артефакты в виде MODULE_ACTIONS_LOG
3. Через модуль Optimizer видно, что в отдельных свойствах слишком много данных (30 тысяч для одного свойства это много), но по какой-то причине оптимизатор при запуске не чистит лишние значения.
По последнему пункту я так и не понял, решилось или нет, Сергей больше не отвечает, и так на меня времени потратил дофига, вообще не понимаю когда он всё успевает. Но на данный момент работа восстановлена. Так что почему оптимайзер не чистит - непонятно, но почему там так много записей я знаю. Это была отдельная проблема, которая проявилась уже под конец общей проблемы. И это был мой косяк целиком и полностью. Некорректно написанный код для внешнего контроллера допускал ситуацию непреднамеренной ddos-атаки mqtt-брокера. Я просто положил сервер потоком сообщений, исчисляющимся десятками тысяч в секунду. Обнаружил это, когда подключился браузерным клиентом (MQTTLens для Хрома) и охренел от этого безумного потока. Код контроллера удалённо не поправить, просто пока отрубил его сетевой порт. Надо править на месте.

Хотя, к сожалению, причины возниконовения проблемы я так и не понял, и это печально, так как это может повториться.
innodb-buffer-pool-size в конфиге мускула
Это где и как посмотреть?
У меня RPi3, ОЗУ 512Мб.

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Добавлено: Чт окт 10, 2019 10:50 pm
prmres
ksv писал(а):
Чт окт 10, 2019 10:08 pm
innodb-buffer-pool-size в конфиге мускула
Это где и как посмотреть?
в конфиге mysql
на убунте 16 сервер это тут: /etc/mysql/mariadb.conf.d/50-server.cnf
ksv писал(а):
Чт окт 10, 2019 10:08 pm
У меня RPi3, ОЗУ 512Мб.
мало памяти, очень
если апач, то попробуйте его покрутить, как - писал здесь: viewtopic.php?p=99459#p99459

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Добавлено: Пт окт 11, 2019 8:41 am
ksv
У меня innodb=OFF.
Памяти свободной сейчас примерно 80 Мб из 512. Послежу за поведением. Крутить апач это понимать надо что делаешь. Я там хоть и прочитал статьи, но я в этом ни бум-бум.

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Добавлено: Пт окт 11, 2019 11:20 pm
prmres
ksv писал(а):
Пт окт 11, 2019 8:41 am
У меня innodb=OFF.
Памяти свободной сейчас примерно 80 Мб из 512. Послежу за поведением. Крутить апач это понимать надо что делаешь. Я там хоть и прочитал статьи, но я в этом ни бум-бум.
кручение апача, на которое я давал ссылку, заключается в дополнительной настройке ограничений запускаемых процессов и ограничении времени жизни этих процессов, ничего сложного, несколько строк конфига
решать конечно вам, но вот, например, эффект от подкручивания апача на моём сервере (падения мускула прекратились, расход памяти уменьшился):
2019-10-11_23-18-32.png
2019-10-11_23-18-32.png (20.03 КБ) 1761 просмотр

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Добавлено: Пн окт 14, 2019 9:37 am
ksv
Да я то только за, знать бы что и насколько подкручивать. Можете порекомендовать настройки?
Вот ваш вариант можно взять один в один? Я ж в этом не понимаю ничего.

Код: Выделить всё

KeepAlive Off
<IfModule prefork.c>
    StartServers        3
    MinSpareServers     3
    MaxSpareServers     9
    MaxClients          15
    ServerLimit         15
    MaxRequestsPerChild 3000
</IfModule>

Re: Всё плохо - падает mysql, не стартует mqtt, не обновить систему. Хелп!

Добавлено: Чт окт 17, 2019 8:01 pm
prmres
ksv писал(а):
Пн окт 14, 2019 9:37 am
Да я то только за, знать бы что и насколько подкручивать. Можете порекомендовать настройки?
Вот ваш вариант можно взять один в один? Я ж в этом не понимаю ничего.

Код: Выделить всё

KeepAlive Off
<IfModule prefork.c>
    StartServers        3
    MinSpareServers     3
    MaxSpareServers     9
    MaxClients          15
    ServerLimit         15
    MaxRequestsPerChild 3000
</IfModule>
можете взять один-в-один конечно