Хранение и обработка данных с датчиков

[schel4ok]

Подскажите где лучше хранить данные с датчиков, чтобы можно было не только смотреть текущие показания, но и статистику изменения.
Я знаю например dweet.io, но там бесплатно история только 5 последних показаний и даже платно только история за последний месяц.

[Chainik]

Т.е. вы имеете ввиду хранение на неком внешнем ресурсе?
А чем хранение в БД самого MDM не устраивает (включаем у свойства историю и делаем с данными что хотим: вычисляем средние значения, строим графики и т.д.)?

[AK1]

А чем хранение в БД самого MDM не устраивает

IMHO ограниченный объем базы.
Часть данных отправляю на сервера emoncms.org (хранятся данные с интервалом 10 сек за несколько лет) и narodmon.com (интервал 5 минут).
Платно, но понимаешь, за что платишь деньги.

[Chainik]

А чем хранение в БД самого MDM не устраивает

IMHO ограниченный объем базы. ...

А можно поинтересоваться "в целях повышения образованности" (c)?
Каким образом ограничен размер базы в MDM? Если, к примеру у меня HDD в несколько Tb, разве я не могу выделить под БД, скажем 100-200 Гб?

[AK1]

С MDM работаю менее года и многого не знаю. Но если не оптимизировать базу, то сильно тормозит.
Приходится или ограничивать срок хранения или терять детализацию.
Есть возможность хранить данные без оптимизации в отдельные файлы архива и оперативно вытаскивать для обработки?
Нужен срок хранения несколько лет с шагом 10 сек для 10-20 параметров.
Пока на emoncms.org пишется 5 параметров с шагом 10 сек (1 фунт в год на 1 параметр независимо от срока хранения). Глубина архива пока 2,5 года

[Chainik]

Я пока обращаюсь к MDM эпизодически и, скорее, как игрушке для развлечения.

Значит вопрос не в ограничении на размер базы, а в естественном снижении скорости обработки запросов к базе при значительном объеме данных. При этом мощности внешних ресурсов позволяют обрабатывать те же запросы к тому же массиву данных за приемлемое время.

Я правильно понял суть проблемы?

На ваш вопрос по поводу выгрузки данных и в отдельные файлы ответить не могу (наверняка, можно, раз структурированные данные в БД уже есть, но как это сделать на практике не знаю). Для этого SQL надо владеть. И штатные средства MDM (удобные для пользователя) для таких операций не предусмотрены.

[tarasfrompir]

С MDM работаю менее года и многого не знаю. Но если не оптимизировать базу, то сильно тормозит.
Приходится или ограничивать срок хранения или терять детализацию.
Есть возможность хранить данные без оптимизации в отдельные файлы архива и оперативно вытаскивать для обработки?
Нужен срок хранения несколько лет с шагом 10 сек для 10-20 параметров.
Пока на emoncms.org пишется 5 параметров с шагом 10 сек (1 фунт в год на 1 параметр независимо от срока хранения). Глубина архива пока 2,5 года

Есть такая штука - //Define('SEPARATE_HISTORY_STORAGE',1); // STORE HISTORY DATA IN DIFFERENT TABLES

[AK1]

На тестовом сервере так и сделал.
Давно его не смотрел. Сейчас обновляю и попробую убрать оптимизацию.
Посмотрю, насколько это улучшит.

[fandaymon]

С MDM работаю менее года и многого не знаю. Но если не оптимизировать базу, то сильно тормозит.
Приходится или ограничивать срок хранения или терять детализацию.
Есть возможность хранить данные без оптимизации в отдельные файлы архива и оперативно вытаскивать для обработки?
Нужен срок хранения несколько лет с шагом 10 сек для 10-20 параметров.
Пока на emoncms.org пишется 5 параметров с шагом 10 сек (1 фунт в год на 1 параметр независимо от срока хранения). Глубина архива пока 2,5 года

Кто мешает хранить исторические данные в отдельной таблице? Раз в сутки данные переносить или параллельно писать и туда и туда, а оптимизатором потом из оперативной таблицы устрашевшие данные стирать?
И из любопытства - что это за данные такие, которые нужно хранить с шагом в 10 секунд?!

[AK1]

И из любопытства - что это за данные такие, которые нужно хранить с шагом в 10 секунд?!

Не обязательно, но хочется. Может причуда.
3 трекера с солнечными панелями, ветрогенератор, 2 инвертора.
На emoncms.org это все хранится без проблем (шаг 10 сек уже 2,5 года), скрин за произвольный день в 2018 году выкладывал выше.
Захотелось уйти от облака.
Пока не получается.
Плюс несколько десятков контроллеров на ESP.
Но там хватает глубины хранения с детализацией до месяца. В основном для отладки инженерных систем дома.