|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
mayton Ну это типа так? Код: plaintext 1. 2. 3. 4.
... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2020, 19:21 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Dima T Алексей Роза У меня нет проблем с поиском по триллионному вектору Это троллинг какой-то. Предлагаю топик закрыть. предлагаю не искать чёрную кошку там, где её нет тут все зачем-то бросились искать по вектору, когда такой задачи я даже не ставил. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2020, 19:23 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза Dimitry Sibiryakov пропущено... Полнотекстовый поиск. В векторе. На триллион слов. Понятно. Удачи! да хосспаде, забудьте уже про вектор. Нету с ним никаких проблем! и про память уже всё ясно, что риски такие же, как и с диском (а то и меньше). А вот про поиск в библиотеке тема всплыла, она поинтересней будет... Но тут лидером был и остаётся гугл, так что лучше него всё равно ничего не родить. Гугл это не 1-instance приложение. Это грид. А ты что думал? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2020, 19:24 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
mayton Я тебе могу рассказать как гугловские работают. Там тоже map-reduce. По полнотекстовому индексу всего интернета. Но с региональными особенностями. ну... капельку сложнее . Систему синонимов в map-reduce не впихнёшь. mayton Гугл это не 1-instance приложение. Это грид. ну у него и объёмы другие. Это детали. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2020, 19:31 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза, а ты всё таки толстый тролище. Вроде как тема была - не знаю как быть с массивом. Как искать. А потом - и проблем нет. Мог бы исходник показать да и все. Чего не показал? Без копирайтов конешно... ... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2020, 19:34 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
mayton Вроде как тема была - не знаю как быть с массивом. Как искать. да не было такой темы "как искать по массиву". По индексу там искать, чё тут думать. Это вы понабежали со своими RDBMS и давай втюхивать перформанс, у кого быстрее. Я может и поддался на секунду веянию искать внутри объектов, но вообще-то это не нужно. Нет такой задачи. Стандартные БД - вот что тут вообще не в тему. нах.. мы их обсуждаем 6 страниц - непонятно. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2020, 19:46 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза Стандартные БД - вот что тут вообще не в тему. нах.. мы их обсуждаем 6 страниц - непонятно. Да? А кто это написал Алексей Роза вопрос в сохранности, констистенции и скорости обработки... Какая сохранность в памяти? Одна кривая функция - вызвал и память загажена. Консистенция и вектор вообще понятия из разных областей. Ты эти умные слова упомянул (подозреваю что сам не понял зачем) и тебе ответили что надо использовать СУБД, т.к. эти слова реализованы в СУБД. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2020, 20:10 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Dima T Какая сохранность в памяти? вот эта. Меня вот это интересовало: Алексей Роза Что будет через 5 лет нахождения информации в памяти? Каков шанс потерять рандомный байт? Вот, например, вы знаете, что некоторые SSD если оставить без питания, то через пару недель вы оттуда ничего не считаете? Для меня это было открытием. Dima T Одна кривая функция - вызвал и память загажена. ну и с файлом так же. Dima T и тебе ответили что надо использовать СУБД, т.к. эти слова реализованы в СУБД. Да нету в СУБД скорости! Я именно это имел ввиду, что вектор взят из-за скорости. А СУБД - это тормозная абстракция для ленивых. В общем ребят, спасибо всем, кто пытался помочь. Само стремление очень ценю и благодарю. Пардон, если какое-то недопонимание возникло по моей вине. В векторе я ищу по индексу, с СУБД работаю более 10 лет и ничего нового по ним вы мне не расскажете. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2020, 20:44 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза Dima T Какая сохранность в памяти? вот эта. Меня вот это интересовало: Алексей Роза Что будет через 5 лет нахождения информации в памяти? Каков шанс потерять рандомный байт? Вот, например, вы знаете, что некоторые SSD если оставить без питания, то через пару недель вы оттуда ничего не считаете? Для меня это было открытием. Рандомный байт на диске потерять невозможно, но может случиться такая ситуация что этот байт невозможно прочитать, точнее не прочитать сектор где он расположен, для этого пишется и проверяется контрольная сумма. Только я не понимаю зачем в кучу мешать: быстрый доступ к массиву и долговременное хранение данных. Это абсолютно разные задачи и решаются они разными средствами. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2020, 21:00 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Хм.. меня не покидает устойчивое Дежа-Вю. Где-то я уже Льва Толстого видел. Лет 5 назад. И кажется это был мой топик. С деревьями. Или с бинарными деревьями. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2020, 21:04 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Ну вот оно. Скруль не нашёл зато гугл по домену sql.ru находит https://www.sql.ru/forum/1268236/vtornichnaya-verevka-dlya-lva-nikolaicha ... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2020, 21:22 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov petravДобавление одной строки не приведёт ли к полной перестройке дерева? Нет, максимум три блока при сплите. Странно, давно это изучал. Но мне кажется балансировка дерева (в самом худшем случае) может привести к кардинальным изменениям по всему дереву. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.06.2020, 22:29 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
petravбалансировка дерева (в самом худшем случае) может привести к кардинальным изменениям по всему дереву. ЕМНИП это всего лишь перемещение корня, так что тоже три блока. Или даже два если новый корень не записывать. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.06.2020, 00:34 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
деревья вообще разные бывают... petrav Но мне кажется балансировка дерева (в самом худшем случае) может привести к кардинальным изменениям по всему дереву. и такое там тоже есть (NS) Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23.
... |
|||
:
Нравится:
Не нравится:
|
|||
25.06.2020, 00:40 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Dima T Рандомный байт на диске потерять невозможно да не на диске. В памяти! Dima T Это абсолютно разные задачи и решаются они разными средствами. ну так как решается долговременное хранение данных в памяти? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.06.2020, 00:44 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
mayton Ну вот оно. Скруль не нашёл зато гугл по домену sql.ru находит https://www.sql.ru/forum/1268236/vtornichnaya-verevka-dlya-lva-nikolaicha есть такая мысль, подойдёт не всем, но, например, магазинам подойдёт... в магазинах ограниченное кол-во слов, которые ищут. Ну неск. тысяч (в зависимости от магазина) их можно просто забить в индекс и привязать к ним нужные страницы (т.е. entity = "article", id = 123. Или ent = "goods", id = 123) по идее, это будет быстрее, чем что-либо... ... |
|||
:
Нравится:
Не нравится:
|
|||
25.06.2020, 00:47 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза деревья вообще разные бывают... petrav Но мне кажется балансировка дерева (в самом худшем случае) может привести к кардинальным изменениям по всему дереву. и такое там тоже есть (NS) Конечно, деревья разные бывают. Не могу сейчас спорить. Но что-то мне подсказывает, что против природы не попрёшь. Как ни оптимизируй. Ну, возможно, я ошибаюсь. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.06.2020, 00:49 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Да. Топик не интересный. Троллинг. Придумывание на ходу задачи "с потолка". ... |
|||
:
Нравится:
Не нравится:
|
|||
25.06.2020, 07:40 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза Dima T Это абсолютно разные задачи и решаются они разными средствами. ну так как решается долговременное хранение данных в памяти? Почитай про ECC-память ... |
|||
:
Нравится:
Не нравится:
|
|||
25.06.2020, 07:59 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov ...Или даже два если новый корень не записывать. ну как бы наихудший вариант по заниманию новых блоков данными при вставке, это обычно когда вы заюзали новый блок под данные и сплитуете индекс по всей глубине (каждую страницу). у вас меняются: список свободных страниц, индекс, данные. многие бд стараются кэшировать страницы при вставке и сопутствующие данные - тем самым смещая нагрузку на диск на паузы работы ну и плюс более правильное упорядочивание. как то так (круглый) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.06.2020, 10:07 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза, вот то что ты что ты написал про Adjacency List, Path Enumeration, e.t.c. это всё относится к разным моделям представленяи деревьев в реляционных таблицах. Но это не имеет аж никакого отношения к блочным дисковым структурам данных на которых строится индекс. Я не знаю зачем ты это написал. Это явно не в тему твоей задачи. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.06.2020, 10:14 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
mayton, у тебя избранная слепота чтоли? ты частенько пишешь невпопад. там вообще-то цитата есть и предыдущие 2 сообщения тоже. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.06.2020, 11:19 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза mayton, у тебя избранная слепота чтоли? ты частенько пишешь невпопад. там вообще-то цитата есть и предыдущие 2 сообщения тоже. Извини мне кажется что у тебя большой большой провал в знаниях в области БД. И обсуждение ребалансировки дерева идет все еще в контексте индекса БД. Но ты очевидно подумал что мы обсуждаем абстрактные деревья? Зачем? Где появился информационный повод обсуждать абстрактные деревья? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.06.2020, 11:23 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
повод появился при твоём непосредственном участии, mayton вот тут 22156478 а потом тут они его продолжают 22156828 я бы и рад конечно не обсуждать эти убогие РДБМС, но вы тут на 6 страницах только их и обсуждаете, мне чё тоже слепым стать теперь mayton Извини мне кажется что у тебя большой большой провал в знаниях в области БД. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.06.2020, 11:39 |
|
|
start [/forum/topic.php?fid=57&msg=39972957&tid=2017354]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
140ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
70ms |
get tp. blocked users: |
1ms |
others: | 246ms |
total: | 498ms |
0 / 0 |