|
|
|
SQL запрос
|
|||
|---|---|---|---|
|
#18+
Есть простая таблица для хранения данных работы датчика: id, data, datetime Для анализа полученных данных за период необходимо не учитывать в выборке показания, которые отличаются (+/-) от прогнозируемых более чем на 15% (т.е. явные ошибки, одиночные всплески). Как хотя бы для начала отсечь такие значения из выборки? Или это нужно делать не при выборке, а анализировать до сохранения таких данных в БД и сохранять только удовлетворяющие критериям? Даже не пойму с какой стороны подходить. Буду рад любым комментариям и советам. :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 15:10 |
|
||
|
SQL запрос
|
|||
|---|---|---|---|
|
#18+
Согласно вашему посту, у вас должна быть модель, на основе которой делается прогноз. Используйте её для проверки текущих показаний. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 15:17 |
|
||
|
SQL запрос
|
|||
|---|---|---|---|
|
#18+
Dmitry EliseevСогласно вашему посту, у вас должна быть модель, на основе которой делается прогноз. Используйте её для проверки текущих показаний. Это понятно, так и есть. Вопрос - как? Советуете сохранять все подряд в БД, а потом отсекать (явные ошибочные значения) при выборке из БД, или делать это до сохранения в БД? Пока в мыслях только один вариант - это разделить задачу на два этапа: 1. отсечь явно не нужное; 2. выборка из БД имеющихся данных. В идеале (наверное) это должен быть 2 в 1 запрос в БД с многими аргументами, т.к. они все плавающие (нестабильные). Но думаю, что это будет "каша" и множество слабых мест. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 15:36 |
|
||
|
SQL запрос
|
|||
|---|---|---|---|
|
#18+
Вам, AIS, статистику вообще не читали? value_deviation ( period, average_value, deviation ) Историю вам, видимо, хранить не нужно, в таблице в каждый момент времени будет одна строка, среднее и отклонение пересчитываются при добавлении нового значения. Перед добавлением проверяете, попадает ли значение в диапазон среднее плюс/минус нужное количество сигм. > отличаются (+/-) от прогнозируемых более чем на 15% Откуда цифра 15%? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 15:52 |
|
||
|
SQL запрос
|
|||
|---|---|---|---|
|
#18+
AISЭто понятно, так и есть. Вопрос - как? При такой постановке вопроса Вам вообще в БД хранить нечего, поскольку значения соответствующие модели - вычисляются, а не соответствующие - вообще отбрасываются. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 16:05 |
|
||
|
SQL запрос
|
|||
|---|---|---|---|
|
#18+
AIS, Сохраняйте все подряд в БД. Дальше уже пляшите от имеющихся. AISКак хотя бы для начала отсечь такие значения из выборки? Код: sql 1. 2. 3. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 16:39 |
|
||
|
SQL запрос
|
|||
|---|---|---|---|
|
#18+
Насколько я понимаю, сохранять требуется только аномальные значения, но встаёт вопрос как определить аномальность, если пока не известно какое значение аномальное или нет? Если я правильно понимаю, то вам нужно использовать первые 50 - 100 значений для "набора статистики", не сохраняя их в базу. Для этих значений постройте таблицу распределения частот, а дальше с помощью "ящика с усами" найдёте аномальные значения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 17:31 |
|
||
|
SQL запрос
|
|||
|---|---|---|---|
|
#18+
можно сделать "грязную" таблицу и "чистую" view, в котором будут отсечены не устраивающие значения. запрос для View будет зависеть от того, как Вы получаете прогнозируемые значения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 17:36 |
|
||
|
SQL запрос
|
|||
|---|---|---|---|
|
#18+
Спасибо всем за комментарии и советы. Определился, что правильней таки собирать и хранить всё подряд без исключений, т.к. это в будущем поволит формировать любые отчеты по желанию без ограничений, а фундамент для этих отчетов таки можно строить на основе "чистых" view, как посоветовал Кот Матроскин. Пожалуй тему можно закрывать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 18:45 |
|
||
|
|

start [/forum/topic.php?fid=32&fpage=32&tid=1541016]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
58ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
47ms |
get tp. blocked users: |
2ms |
| others: | 13ms |
| total: | 164ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...