ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Данные с массива даже не передаются на сервер СУБД (Хабр)
5 сообщений из 5, страница 1 из 1
Данные с массива даже не передаются на сервер СУБД (Хабр)
    #39921854
Фотография dab2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dab2
Участник
Вычитал на Хабре :

Если важна скорость обработки данных

авторОбработка данных прямо на месте их хранения зачастую даёт значительный прирост скорости обработки. Становятся возможными такие оптимизации, как, например, агрегации на уровне хранилища данных — данные с массива даже не передаются на сервер СУБД, не говоря о клиенте.
Хотел посмотреть комментарии, что здесь имеется в виду по поводу "не передаются на сервер СУБД".
============================================================================================================
"О, сколько нам открытий чудных готовит просвещения дух, и опыт - сын ошибок трудных, и гений - парадоксов друг, и случай - бог изобретатель" (Пушкин, однако).
...
Рейтинг: 0 / 0
03.02.2020, 15:15
| Ответить | Цитировать | Написать  
Данные с массива даже не передаются на сервер СУБД (Хабр)
    #39921862
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
dab2,

там о другом речь - о прикладном уровне, о размещении бизнес-логики. В любом случае хорошее решение должно стремиться к минимальности затрат всех видов - риски, требования к оборудованию, время ожидания, порог вхождения, время на внесение изменений и так далее.

Например, быстрее работать не будет в приложении, если потребуется координировать данные десятка таблиц или таблица размером в полтора Гб дует перекачиваться на клиента, а потом загружаться обратно.
...
Рейтинг: 0 / 0
03.02.2020, 15:24
| Ответить | Цитировать | Написать  
Данные с массива даже не передаются на сервер СУБД (Хабр)
    #39921866
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
StarikNavy
Участник
dab2
агрегации на уровне хранилища данных — данные с массива даже не передаются на сервер СУБД, не говоря о клиенте.

если правильно понял автора "данные не передаются, передаются уже агрегированные данные"
...
Рейтинг: 0 / 0
03.02.2020, 15:31
| Ответить | Цитировать | Написать  
Данные с массива даже не передаются на сервер СУБД (Хабр)
    #39921878
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
чтобы СХД сами агрегировали... фигня какая-то написана,
наиболее подходящее под это описание - это MapReduce, но и то с большими оговорками
...
Рейтинг: 0 / 0
03.02.2020, 15:48
| Ответить | Цитировать | Написать  
Данные с массива даже не передаются на сервер СУБД (Хабр)
    #39921905
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
dab2
что здесь имеется в виду по поводу "не передаются на сервер СУБД".
Мне кажется, имеется в виду, что сырые данные перед загрузкой на сервер нужно по возможности обработать, агрегировать, тем самым уменьшив нагрузку на сервер.
Критик
чтобы СХД сами агрегировали... фигня какая-то написана,
наиболее подходящее под это описание - это MapReduce, но и то с большими оговорками
Наверное, тут под хранилищем подразумевается что то более общее, чем NAS, или рэйд-контроллер...

А MapReduce - просто платформа, предобрабатывать можно как угодно.

Например, данных из хранилища (из файлов csv, xml, excel и т.д.) в SSIS пакете загружаем на сервер.
Можно загрузить в raw-таблицы, и обрабатывать, можно очистить, и загрузить в факты, а можно ещё и агрегировать, и загрузить уже агрегированные данные. Каждая ступень уменьшает нагрузку на СУБД.
...
Рейтинг: 0 / 0
03.02.2020, 16:34
| Ответить | Цитировать | Написать  
5 сообщений из 5, страница 1 из 1
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Данные с массива даже не передаются на сервер СУБД (Хабр)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=46&fpage=71&tid=1686560]:
 0ms
get settings:
 8ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 45ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 47ms
get tp. blocked users:
 1ms
others: 384ms
total:  522ms
созд. / загр.: 522ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]