powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Сортировка сотен миллионов строк с удалением дублей
5 сообщений из 55, страница 3 из 3
Сортировка сотен миллионов строк с удалением дублей
    #39834877
Фотография X-Cite
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дегтярев Евгений> Все 24 лп не напрягались, ощущение что уперлось во что-то другое, возможно память.
NUMA?
Да
...
Рейтинг: 0 / 0
Сортировка сотен миллионов строк с удалением дублей
    #39835264
Фотография Gator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
X-CiteДегтярев Евгений> Все 24 лп не напрягались, ощущение что уперлось во что-то другое, возможно память.
NUMA?
Да
Вроде бы Тема о сортировке большых(?) объёмах данных? На клиенте?
А вы тут... PUMA зачем-то... Вы бы ещё IBM & Cray Corp вспомнили...
SAS мозгололомоы разбежались по конторам по тематике...
___
Собственно вопрос. Кто в состоянии обработать 100 миллионов строк (а завтра и 100 миллиардов)?
Тут нужен сервис ленивый (а ля LazyReader/LazyWriter)
Клиенту-то это зачем?
Распределённая сеть с распределёнными транзакциями ради тупой сортировки(?) неизвестно чего(ТС?)???
Да ещё на Дельфи? Не верю!

Клиент пусть берёт нужную выборку из своего OLAP и сортирует,
как жопса скажет нужные ему поля в нужном ему порядке
______________
...
Рейтинг: 0 / 0
Сортировка сотен миллионов строк с удалением дублей
    #39835291
Фотография Дегтярев Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GatorА вы тут... PUMA зачем-то...
whaat?
...
Рейтинг: 0 / 0
Сортировка сотен миллионов строк с удалением дублей
    #39835362
Фотография Gator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дегтярев Евгений,
Pardon, NUMA
...
Рейтинг: 0 / 0
Сортировка сотен миллионов строк с удалением дублей
    #39835505
Фотография X-Cite
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gator,

В первом сообщении был затронут общий вопрос сортировки, неважно где.
Меня же клиентские машины вообще не интересуют, у нас вся логика в бэкэнде на сервисах. Поэтому и рассматриваю этот вопрос исключительно на серверной части.

К тому же в своих тестах привел кейс для своей машины, считай клиентской, и для двух разных серверов. Моя выиграла из-за того что частота CPU выше, хотя я пробовал на физическом сервере с такой же частотой и он все равно медленнее оказался. Виртуальные серверы понятно, что проиграли.
А вопрос про NUMA возник из-за того, что меня удивило, что 24 ЛП не напрягались, и как я понял это может быть причиной, когда данные оказались в памяти не того сокета, куда прикреплен процессор.

Никакие распределенные сети не нужны. Нужно чтобы TArray.Sort<T> работал быстро неважно где и использовал все возможности машины на которой выполняется код.

P.S.
Создал в QC 3 таски:
Одна на multithreading сортировку в TArray.Sort<T> - добавить возможность включения
Одна на поддержку NUMA в менеджере памяти - актуально для бэкенда (на гитхабе нашел коммент в FastMM на поддержку, но он так и остался комментом [planned: support for multiple per-NUMA-node allocators])
Одна на поддержку NUMA в TThredPool - актуально для бэкенда
...
Рейтинг: 0 / 0
5 сообщений из 55, страница 3 из 3
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Сортировка сотен миллионов строк с удалением дублей
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]