Установка Системы Majordomo на Raspberry pi

Проблемы/вопросы, связанные с запуском под различными платформами и конфигурациями.

Модератор: immortal

depo
Сообщения: 9
Зарегистрирован: Пн ноя 10, 2014 8:58 am

Re: Установка Системы Majordomo на Raspberry pi

Сообщение depo »

Если каму надо будет, могу выложить образ под последнию малинку.

Буду благодарен за работающий образ, а то самому победить не удается :(
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург

Re: Установка Системы Majordomo на Raspberry pi

Сообщение lanket »

depo писал(а):
Если каму надо будет, могу выложить образ под последнию малинку.

Буду благодарен за работающий образ, а то самому победить не удается :(
Так как глюки побороть не удалось и ни у кого не появилось мыслей или желания в сторону помощи. Пришлось все поставить с нуля.

Кому надо образ свежеустановленного Мажордомо на Raspberry PI B+
МДМ самой последней сборки со всеми обновлениями на данную минуту.
Пароли:
ssh>pi:raspberry
mysql>root:1Ft1UDfelsUJ
mysql>mdm:S4hLfTzo3nmU (база "mdm")
raspberryIP/phpmyadmin>0ZCu4sZKeN3o

В образе уже обновлен пакет для новых часовых поясов.
Синхронизация времени каждый час и при загрузки.
Часовой пояс сейчас Московский
Запуск цикла при старте.

Собственно все готово к первому запуску МДМ.

Рекомендации первых действий:
Если часовой пояс отличный от Московского то по SSH выполнить "sudo dpkg-reconfigure tzdata"
Так как при 4 гиг остается очень мало свободного места то желательно иметь флэшку побольше а для того чтобы использовалось все пространство то выполнить "sudo raspi-config"
Выбрать в меню пункт expand_rootfs Expand root partition to fill SD card.

Правда dd копирует всю флэшку, у меня она 16 гиг, пришлось ее просить только 4 гига скопировать. Думаю что при заливки образа голого rasbiana она туда же,в начало, и засунуло.
Если образ окажется битый то выложу весь 16 гиговый образ. Но теоритически должно работать.

https://yadi.sk/d/IA5YzPC9chUWA
md5Hash:939669d926fe21b5a067042bde388525
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
sergejey
Site Admin
Сообщения: 4286
Зарегистрирован: Пн сен 05, 2011 6:48 pm
Откуда: Минск, Беларусь
Контактная информация:

Re: Установка Системы Majordomo на Raspberry pi

Сообщение sergejey »

Уважаемые пользователи Raspberry, у меня тут мысль пришла одна насчёт оптимизации работы системы, может кому будет интересно проверить идею, а то у меня сейчас под рукой нет платы для эксперимента. В общем, суть идеи -- перенести базу данных в память (на tmpfs). Алгоритм в общих чертах такой -- при инициализации системы линковать каталог базы данных mysql на виртуальную файловую систему и импортировать базу данных из файла, затем периодически в процессе работы экспортировать дамп базы данных в файл. Это в общих чертах, детали ещё предстоит проработать. По идее хранение базы данных в памяти должно существенно ускорить работу (чтение/запись мелких блоков с SD это долгая операция) и избавить от проблемы "выгорания" карточки памяти из-за большого количества циклов записи (а МЖД этим грешит, чего уж скрывать). Периодическая выгрузка дампа в файл это, как мне видится, гораздо более экономичный вариант по циклам записи. Размер базы будет до 100Мб (у меня за несколько лет она выросла до 50Мб и без оптимизации), а если её выгружать сначало в тот же tmpfs, а потом на карточку сбрасывать ужатым в tar.gz, то физически записывать вообще "копейки" нужно будет. Ну и попутно избавляемся от необходимости подключать внешний жёсткий диск для системы. Что скажете?

Сергей Джейгало, разработчик MajorDoMo
Идеи, ошибки -- за предложениями по исправлению и развитию слежу только здесь!
Профиль Connect -- информация, сотрудничество, услуги
Vittaly
Сообщения: 118
Зарегистрирован: Вт окт 14, 2014 9:19 pm

Re: Установка Системы Majordomo на Raspberry pi

Сообщение Vittaly »

sergejey писал(а):Уважаемые пользователи Raspberry, у меня тут мысль пришла одна насчёт оптимизации работы системы, может кому будет интересно проверить идею, а то у меня сейчас под рукой нет платы для эксперимента. В общем, суть идеи -- перенести базу данных в память (на tmpfs). Алгоритм в общих чертах такой -- при инициализации системы линковать каталог базы данных mysql на виртуальную файловую систему и импортировать базу данных из файла, затем периодически в процессе работы экспортировать дамп базы данных в файл. Это в общих чертах, детали ещё предстоит проработать. По идее хранение базы данных в памяти должно существенно ускорить работу (чтение/запись мелких блоков с SD это долгая операция) и избавить от проблемы "выгорания" карточки памяти из-за большого количества циклов записи (а МЖД этим грешит, чего уж скрывать). Периодическая выгрузка дампа в файл это, как мне видится, гораздо более экономичный вариант по циклам записи. Размер базы будет до 100Мб (у меня за несколько лет она выросла до 50Мб и без оптимизации), а если её выгружать сначало в тот же tmpfs, а потом на карточку сбрасывать ужатым в tar.gz, то физически записывать вообще "копейки" нужно будет. Ну и попутно избавляемся от необходимости подключать внешний жёсткий диск для системы. Что скажете?
У меня похожие мысли были (увеличение ресурса nand), когда решал: переезжать на hdd, или нет. У меня Cubietruck. Проанализировав активность системы, пришёл к выводу, что перенести только бд - недостаточно. В МД не только sql активно работает, там ещё куча файлов часто обновляется других в директории /var. А всю /var переселять в tmpfs - нереально. Так что лучше переехать на hdd. По крайней мере я так для себя решил.
Cubietrunck + Debian
Ivan
Сообщения: 1473
Зарегистрирован: Сб окт 12, 2013 11:03 pm

Re: Установка Системы Majordomo на Raspberry pi

Сообщение Ivan »

Лучше сделать настройки mySql которые будут писать на винт раз в 30 мин.

т.к. Делать в памяти - значит потерять всю базу при потере питания. И иметь много гемороя на копирование. Уже пробовал ничего хорошего не получается.

И ещё. Как показали тесты, mysql хавает всю память сразу (даже на убунту при 3г). Нужно делать баланс настроек базы данных. Чтобы дампила по минимуму на флэшь. Где то на хабаре была статья по это.
Linux, Raspberry PI, MySensors
Connect: http://connect.smartliving.ru/profile/53
Мои проекты: http://smartliving.ru/profile/4
electric
Сообщения: 309
Зарегистрирован: Вт сен 17, 2013 10:11 pm

Re: Установка Системы Majordomo на Raspberry pi

Сообщение electric »

sergejey писал(а):Уважаемые пользователи Raspberry, у меня тут мысль пришла одна насчёт оптимизации работы системы, может кому будет интересно проверить идею, а то у меня сейчас под рукой нет платы для эксперимента. В общем, суть идеи -- перенести базу данных в память (на tmpfs). Алгоритм в общих чертах такой -- при инициализации системы линковать каталог базы данных mysql на виртуальную файловую систему и импортировать базу данных из файла, затем периодически в процессе работы экспортировать дамп базы данных в файл. Это в общих чертах, детали ещё предстоит проработать. По идее хранение базы данных в памяти должно существенно ускорить работу (чтение/запись мелких блоков с SD это долгая операция) и избавить от проблемы "выгорания" карточки памяти из-за большого количества циклов записи (а МЖД этим грешит, чего уж скрывать). Периодическая выгрузка дампа в файл это, как мне видится, гораздо более экономичный вариант по циклам записи. Размер базы будет до 100Мб (у меня за несколько лет она выросла до 50Мб и без оптимизации), а если её выгружать сначало в тот же tmpfs, а потом на карточку сбрасывать ужатым в tar.gz, то физически записывать вообще "копейки" нужно будет. Ну и попутно избавляемся от необходимости подключать внешний жёсткий диск для системы. Что скажете?
Не перенося всю систему на винт, работая только с SD-карты, я уже убил две карточки (правда одна не новая была). У меня не только MDM работал на малинке, но основную нагрузку по записи/чтению давал именно SQL и запись/ротация логов. Можно конечно логи/БД отключить/перенести - но проблему это не решит. Еще на роутерах с OpenWRT и вынесеным оверлеем на USB-flash тоже проблемы с памятью - одна флешка уже почти мертвая, первую самую (китай за 5 у.е.) уже выбросил. ИМХО такие системы ставить на HDD, причем имеется ввиду НМЖД или выносить в облака и пр.
Было: Majordomo v.0.6.0.b на Cubietruck. OS Armbian с переносом на HDD
Стало: ioBroker на Cubietruck OS Armbian + ZigBee Xiaomi + OWFS + BLE.
Аватара пользователя
sergejey
Site Admin
Сообщения: 4286
Зарегистрирован: Пн сен 05, 2011 6:48 pm
Откуда: Минск, Беларусь
Контактная информация:

Re: Установка Системы Majordomo на Raspberry pi

Сообщение sergejey »

Честно говоря, пока не увидел серьёзных аргументов против. MDM сама по себе в файлы пишет крайне редко, основная нагрузка идёт на базу данных, а последняя уж конечно это делает часто. Логи все можно отключить -- это не проблема. Что ещё может интенсивно писать на диск?

Насчёт настройки базы данных, что б писала раз в 30 минут -- интересно, но я не знаю как такое сделать (в своё время искал, не нашёл). Проблем с созданием/восстановлением дампа совершенно не вижу -- обычно это дело нескольких секунд, т.к. база не такая уж и большая.

Я не говорю, что результат будет идеальный, но подружить MDM с флэш-памятью по-моему возможно. Не буду настаивать, но сам обязательно попробую :)

Сергей Джейгало, разработчик MajorDoMo
Идеи, ошибки -- за предложениями по исправлению и развитию слежу только здесь!
Профиль Connect -- информация, сотрудничество, услуги
Ivan
Сообщения: 1473
Зарегистрирован: Сб окт 12, 2013 11:03 pm

Re: Установка Системы Majordomo на Raspberry pi

Сообщение Ivan »

Linux, Raspberry PI, MySensors
Connect: http://connect.smartliving.ru/profile/53
Мои проекты: http://smartliving.ru/profile/4
Аватара пользователя
sergejey
Site Admin
Сообщения: 4286
Зарегистрирован: Пн сен 05, 2011 6:48 pm
Откуда: Минск, Беларусь
Контактная информация:

Re: Установка Системы Majordomo на Raspberry pi

Сообщение sergejey »

Ivan писал(а):http://sys.uz/archives/146
К сожалению, это совсем не то. MySQL использует кэш и временные таблицы и я согласен, что им уж точно место в tmpfs, но проблема в том, что они не являются основными "киллерами". По крайней мере не в нашем случае, т.к. у нас много мелких запросов на запись и совсем мало тяжеловесных, так что оно нам не поможет.

Сергей Джейгало, разработчик MajorDoMo
Идеи, ошибки -- за предложениями по исправлению и развитию слежу только здесь!
Профиль Connect -- информация, сотрудничество, услуги
rusya
Сообщения: 51
Зарегистрирован: Чт июл 19, 2012 8:35 pm

Re: Установка Системы Majordomo на Raspberry pi

Сообщение rusya »

sergejey писал(а):Честно говоря, пока не увидел серьёзных аргументов против. MDM сама по себе в файлы пишет крайне редко, основная нагрузка идёт на базу данных, а последняя уж конечно это делает часто. Логи все можно отключить -- это не проблема. Что ещё может интенсивно писать на диск?

Насчёт настройки базы данных, что б писала раз в 30 минут -- интересно, но я не знаю как такое сделать (в своё время искал, не нашёл). Проблем с созданием/восстановлением дампа совершенно не вижу -- обычно это дело нескольких секунд, т.к. база не такая уж и большая.

Я не говорю, что результат будет идеальный, но подружить MDM с флэш-памятью по-моему возможно. Не буду настаивать, но сам обязательно попробую :)
А вот я после убийства нескольких карточек только за! думаю стоит попробовать перенести кеш и базу данных в рам и потестить, жду решения, у самого как-то не очень получилось
Ответить