|
Господа! Жизненно важный вопрос!!!
|
||
|---|---|---|
Участник
Откуда: МО Электросталь
Сообщения: 5 642 |
||
| 13.03.2014, 13:22 |
|
|
|
|
|
Господа! Жизненно важный вопрос!!!
|
|||
|---|---|---|---|
|
#18+
Простите за глупый вопрос (прошу заранее). По работе приходится сталкиваться с обработкой множества матриц отчетов, собираемых со всей России. Целиком матрицы совершенно одинаковы по структуре. На данном этапе я загоняю их в одну таблицу и начинаю обрабатывать (сложение некоторых графо-строк, порайонно - чтобы получилась таблица сравнения. Для работы использую mysql, но так как обрабатываются данные со всей России, очень большое время обработки. Появилась мысль обработки данной структуры с помощью nosql базы данных, возможно ли такое. Подтолкните на лучшую по вашему мнению nosql бд, и мануальчик по работе. Если необходимо - приведу пример матрицы, которые мне надо посчитать. Заранее спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.03.2014, 17:31 |
|
||
|
Господа! Жизненно важный вопрос!!!
|
|||
|---|---|---|---|
|
#18+
comtehno, Пример - приводите и как обрабатываете, тоже пишите. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.03.2014, 18:58 |
|
||
|
Господа! Жизненно важный вопрос!!!
|
|||
|---|---|---|---|
|
#18+
comtehnoПоявилась мысль обработки данной структуры с помощью nosql базы данных, возможно ли такое. Смысла нет NoSQL брать. NoSQL хороша там, где плавающая структура данных, а у вас типизированная в одну таблицу. Будет все только дольше работать, плюс геммор по написанию новой логики загрузки и получения данных. Проще взять бесплатный до 1 тб HP Vertica Community, развернуть на кластере из 3 серверов, чтобы обеспечить быстродействие и отказоустойчивость и ничего не переделывая особо так же грузить данные и так же получать информацию запросами, как и с MySQL. При правильном дизайне структуры таблицы все будет летать в пределах мс. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.03.2014, 13:22 |
|
||
|
Господа! Жизненно важный вопрос!!!
|
|||
|---|---|---|---|
|
#18+
ASCRUS, благодарю, сейчас пробую зарегится там - что-то письмо от них не приходит ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.03.2014, 16:38 |
|
||
|
Господа! Жизненно важный вопрос!!!
|
|||
|---|---|---|---|
|
#18+
Ну и еще в порядке идей. Не знаю насколько сложные у вас матрицы, но по идее на более-менее продвинутой СУБД можно их обсчитывать. Что касается, в частности, Oracle, то там есть такая штука как SQL Model, которая позволяет сделать что-то вроде виртуальной Excel-таблицы для запроса и производить операции между ячейками. Не так гибко, может быть как в Excel, но тем не менее. Вот первый нагугленный пример: http://www.oracle.com/webfolder/technetwork/tutorials/obe/db/10g/r2/prod/bidw/sqlmodel/sqlmodel_otn.htm ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.03.2014, 09:39 |
|
||
|
Господа! Жизненно важный вопрос!!!
|
|||
|---|---|---|---|
|
#18+
Еще в Oracle есть (правда платная опция) поддержка статистического языка R. А R, собственно, поддерживает возможность операций над матрицами без использования даже SQL программирования. Опять же, нагугленный пример: http://www.ats.ucla.edu/stat/r/library/matrix_alg.htm ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.03.2014, 09:49 |
|
||
|
|
start [/forum/topic.php?fid=48&gotonew=1&tid=1856903]: |
0ms |
get settings: |
11ms |
get forum list: |
11ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
38ms |
get topic data: |
11ms |
get first new msg: |
6ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
2ms |
| others: | 10ms |
| total: | 151ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
