powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Многокритериальный поиск в очень-очень большой базе
25 сообщений из 309, страница 3 из 13
Многокритериальный поиск в очень-очень большой базе
    #33953901
sysprg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
AAronСтранно все это.
1. Вместо того, чтобы запустить проект для много меньшей нагрузки и начать зарабатывать деньги, автор сотрясает воздух.Деньги поначалу поступают медленнее, чем растет нагрузка. Если стартовать не имея запаса прочности, то весь проект будет провален из-за того, что элементарно поляжет под нагрузкой и дискредитирует себя в глазах своих пользователей. Но тут же на это место придут другие, как бывает всегда. Поэтому в данном случае нужно сначала проработать ядро системы на опережение (и в бизнесе, так и в технологии) и уже затем запускать сервис. Я видел, как погибали интересные бизнесы, которые не справились с нагрузкой - и на их место приходили другие ребята. Представляете как было обидно тем, первым?

AAron2. автор действительно надеется, что люди уже обладающие такими знаниями будут ими делиться?Какими знаниями? Я же не прошу технического задания для программистов или описания структуры базы данных. Меня интересует опыт участия и примерные соображения как это сделать, интересуют имеющиеся технические средства (готовые СУБД) и алгоритмические идеи - если тут присутствуют представители "академической среды".

AAron3. На мой взгляд, количество запросов в 1М/с необосновано.Сейчас - согашусь, да. Но нужно думать о будущем, если ты в проекте участвуешь не просто формально, за зарплату.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953906
sysprg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ggvесли у вас нет фиксированной линии - то это не значит, что пакетная коммутация окончательно победила :)Если сами телефонные компании гонят long-distance трафик через IP, то даже не смотря на то, что у "традиционных" абонентов пока что еще стоят обычные телефоны - это все равно говорит о том, что пакетная коммуникация победила. :) Зачастую уже дешевле платить за IP, чем за классическую fixed телефонную линию.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953945
Фотография Anton Demidov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysprgВот благодаря подсказке в форуме удалось выяснить, что ближе всех по своим характеристикам мне подходит IBM DB2, которая реально демонстрировалась на больших кластерах и действительно работает на них и есть отзывы об этом (удалось найти статьи). Увы, система IBM не лишена недостатков - она использует подход sharing nothing, но это все же намного лучше, чем то, что показывают другие. Интересные наработки у Oracle - но похоже у них проблемы с масштабируемостью на большие кластеры.
Читаем мнение Оракла по этому поводу (PDF). Вот линк на документ, сравнивающий подходы Оракла и IBM (в URL-e есть скобки, которые мешают оформить его правильно на форуме):
http://www.oracle.com/technology/products/database/clustering/pdf/twp_rac_10g_vs_db2_v8.2[1].pdf
Я еще раз отошлю на www.tpc.org
Кто-нибудь, найдите мне успешное применение кластеров DB2 для OLTP !!! Желательно на 1024 нодах
Кстати, было бы интересно посмотреть на аналогичное сравнение от IBM, может кто видел - киньте линк, плиз.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33954006
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> Вот только не нужно надувать щеки

;)) Дружище, Вам учиться нужно, а не фигню в форумах писать.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33954194
sysprg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Anton DemidovКстати, было бы интересно посмотреть на аналогичное сравнение от IBM, может кто видел - киньте линк, плиз.
Что нашел на их сайте:
www-306.ibm.com/software/data/db2/benchmarks/111704.html
www-306.ibm.com/software/data/highlights/scalecluster.html
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33954297
Выбегалло
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Anton Demidov sysprgВот благодаря подсказке в форуме удалось выяснить, что ближе всех по своим характеристикам мне подходит IBM DB2, которая реально демонстрировалась на больших кластерах и действительно работает на них и есть отзывы об этом (удалось найти статьи). Увы, система IBM не лишена недостатков - она использует подход sharing nothing, но это все же намного лучше, чем то, что показывают другие. Интересные наработки у Oracle - но похоже у них проблемы с масштабируемостью на большие кластеры.
Читаем мнение Оракла по этому поводу (PDF). Вот линк на документ, сравнивающий подходы Оракла и IBM (в URL-e есть скобки, которые мешают оформить его правильно на форуме):
http://www.oracle.com/technology/products/database/clustering/pdf/twp_rac_10g_vs_db2_v8.2[1].pdf
Я еще раз отошлю на www.tpc.org
Кто-нибудь, найдите мне успешное применение кластеров DB2 для OLTP !!! Желательно на 1024 нодах
Кстати, было бы интересно посмотреть на аналогичное сравнение от IBM, может кто видел - киньте линк, плиз.

Забавно, что Oracle только рассуждает о теоретических преимуществах их подхода, а IBM публикует результаты TPC-C
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33954335
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysprg
Сейчас - согашусь, да. Но нужно думать о будущем, если ты в проекте
участвуешь не просто формально, за зарплату.

Если думать о будущем, то надо принимать во внимание что планируется
глобальный проект, а это означает тысячи серверов распределенных по
всему миру. Наличие такого количества серверов уменьшает нагрузку на
каждый отдельно взятый сервер до приемлемых сотен запросов в секунду.
Сотовой связью сейчас тоже пользуются миллиарды, но никто же не требует
супермощности от отдельной базовой станции.

Я практически уверен что любой сервер БД через пять лет потянет
вышеописанный сценарий. Даже MySQL. Если правильно настроить load
balancing и репликацию.
Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33954551
Фотография Last_Alien
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysprg[Увы, тривиальные решения работают только на тривиальных задачах. Пользователь может запросить информацию по двум атрибутам, по каждому из которых есть, скажем, 10000 записей, а их пересечение - всего-навсего 100 записей. Если я буду из базы выгребать даже 10000 записей для последующего отсеивания, то мне никаких машинных мощностей не хватит при большом потоке запросов. Как я сказал в постановке задачи, многих пользователей интересуют "нетривиальные" пересечения, у которых короткий ответ, но по "ID" атрибутов это предсказать трудно - даже по самому "короткому" из них может быть достаточно много записей (не миллионы, но много).

Тривиальное решение было придумано в курилке за пять минут в рамках существующих СУБД.
Идея проекта интересна. Но ядро придется писать с 0 (некоторые наработки по этой теме у меня имеются, так что принципиальных проблем не вижу).
В-принципе есть мысли по практической реализации подобной системы даже на современном железе, но обсуждать это в общедоступном форуме считаю глупым. Так что, если хотите - пишите письма, адрес моего почтового ящика - в профиле.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33954562
Yo.!!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Выбегалло

Забавно, что Oracle только рассуждает о теоретических преимуществах их подхода, а IBM публикует результаты TPC-C

уважаемый, протрите глаза ;)
у бимеров были когда-то кластерные тесты, я помню, видать теперь им за них стыдно. пока только оракл показывает реальную работу кластеров (e-bay, amazon и т.п.) и только оракл показывает тесты на кластерах в ERP задачах (sap parallel, oebs)
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955144
pavelvp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftстранно, что ж до сих пор никто не "вынес" никого из приведенного списка?
А вот Digital вынесли :-(((
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955188
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Привет, pavelvp!
Ты пишешь:

pavelvpp> А вот Digital вынесли ибо нефик было связываться с Билли.
а то продали Катлера со товарищи,
да поверили сказкам про то, что Alpha + NT
будет на каждом столе...

кстати, та же история повторяется с Борландом...

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955197
pavelvp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysprgДеньги эфемерны и не в них счастье, так какой смысл обсуждать в форуме интересные проблемы в разрезе денег? Деньги приходят к тому, кто готов их взять. А... Значит ты готов. Тогда ещё вопрос. А есть ли кто-то, кто готовых их отдать?
Просто поучаствовать в таком проекте хотелось бы. Но если денег нету...
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955221
Фотография Last_Alien
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pavelvp sysprgДеньги эфемерны и не в них счастье, так какой смысл обсуждать в форуме интересные проблемы в разрезе денег? Деньги приходят к тому, кто готов их взять. А... Значит ты готов. Тогда ещё вопрос. А есть ли кто-то, кто готовых их отдать?
Код: plaintext
Просто поучаствовать
в таком проекте хотелось бы. Но если денег нету...

А у тебя есть конкретные идеи для участия?
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955243
ggv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ggv
Гость
до тех пор, пока результаты TPC-C на одной SMP машине лучше, чем на кластерах (а последнее время становятся еще все дешевле и дешевле), IBM нет смысла делать тесты на кластерах.
В OLTP пока нет такой задачи, которую бы не решил последний p5.
Могу продположитть, что ситуация не начнет меняться до тех пор, пока такая задача не появится.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955283
pavelvp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Last_AlienА у тебя есть конкретные идеи для участия? Для начала могу предложить автору топика посмотреть в сторону Teradata...
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955370
Фотография Last_Alien
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pavelvpДля начала могу предложить автору топика посмотреть в сторону Teradata...

Я не автор, но посмотрел. Ну и...? Ну РСУБД, ну 1024 ноды.
Прочитай внимательно первый авторский пост. Какие идеи по решению основной задачи в рамках классической СУБД? Сделать таблицу с 1000 ключами и 10^8 записями? Думаю не потянет.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955470
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Last_Alien
Прочитай внимательно первый авторский пост. Какие идеи по решению
основной задачи в рамках классической СУБД?

Из первого поста совершенно ясно что автору сначала надо прослушать
курсы по проектированию БД. Уже после слов "с динамически добавляемыми
колонками" можно отправлять в сад. Ты же сам привел решение в рамках
классической СУБД, которое было отвергнуто под абсолютно надуманным
предлогом.
Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955550
Фотография Last_Alien
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
Из первого поста совершенно ясно что автору сначала надо прослушать
курсы по проектированию БД. Уже после слов "с динамически добавляемыми
колонками" можно отправлять в сад. Ты же сам привел решение в рамках
классической СУБД, которое было отвергнуто под абсолютно надуманным
предлогом.
Posted via ActualForum NNTP Server 1.3

Автор мыслит креативно. И этого с него достаточно. Если бы он был проф.админом-программистом БД, он бы с этими вопросами сюда не пришел. Если у него есть возможность выбить финансирование под проект и решить др.организационные вопросы - то какие к нему претензии?

Про то мое решение - см.мой комент выше. Предлог не надуманный. Идеи по более глубокому и качественному решению у меня уже есть.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955605
_niсht_schissen_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
:)
Задача в усеченном варианте:
- критерии только на строгое равенство
- количество результирующих записей относительно невелико

Решение в самом общем виде:

1. Кластер брокеров запросов (производительность, достаточная для обработки 1М запросов в секунду :) ).

2. Группа кластеров хранения атрибутов, на каждый атрибут свой кластер. Храним:
- индекс "[значение атрибута]->[кол-во объектов]+[список идентификаторов объекта]".
- индекс "[идентификатор]->[значение атрибута]"

3. Порядок работы:
- Кластер брокеров запросов получает запрос, разбирает критерии и посылает запросы по отдельным критериям соответствующим кластерам атрибутов.
- Получает от них информацию по количеству идентификаторов с данным значением соответствующего атрибута, составляет список опроса.
- По списку опроса запрашивает у соответствующего кластера с мин. кол-вом объектов список их идентификаторов.
- Список идентификаторов последовательно рассылается оставшимся кластерам для корректировки на вхождение идентификаторов.
- Итоговый список идентификаторов посылается на оставшиеся атрибутные кластеры для получения значений атрибутов.
- Результат отправляется на клиент.

Вроде все параллелится. И кажется, что время отклика линейно зависит от кол-ва кластеров и узлов в них.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955646
Random_Goodman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysprg pavelvp 2 sysprg Это только мысли или у тебя помимо мыслей есть ещё и деньги?Деньги эфемерны и не в них счастье, так какой смысл обсуждать в форуме интересные проблемы в разрезе денег? Деньги приходят к тому, кто готов их взять.
Если кому что-то с автором было непонятно, должно было стать понятным после этой фразы.

ИМХО, автор, вам лучше с бабульками на лавочке вести разговоры - продуктивнее получится. А судьбы мира на загаженной кухне мы все давно умеем решать вообще без СУБД.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955664
Фотография Last_Alien
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
_niсht_schissen_:)
Вроде все параллелится. И кажется, что время отклика линейно зависит от кол-ва кластеров и узлов в них.

Слишком много железа. Посмотри критику автором моего первоначального варианта. Если у тебя выборки по двум отдельным атрибутам будут по 100тыс.записей, а их пересечение - 100 записей, то как будет вести себя система?
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955684
Фотография Last_Alien
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Random_Goodman sysprg pavelvp 2 sysprg Это только мысли или у тебя помимо мыслей есть ещё и деньги?Деньги эфемерны и не в них счастье, так какой смысл обсуждать в форуме интересные проблемы в разрезе денег? Деньги приходят к тому, кто готов их взять.
Если кому что-то с автором было непонятно, должно было стать понятным после этой фразы.

ИМХО, автор, вам лучше с бабульками на лавочке вести разговоры - продуктивнее получится. А судьбы мира на загаженной кухне мы все давно умеем решать вообще без СУБД.

Уважаемый, а Вы думать и изрекать свои мысли начинаете только после того, как Вам стобаксовой бумажкой перед носом покрутят?:-)))
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955693
Random_Goodman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Last_Alien
Уважаемый, а Вы думать и изрекать свои мысли начинаете только после того, как Вам стобаксовой бумажкой перед носом покрутят?:-)))
Именно так. Или если они у меня уже есть и мне наплевать кто что скажет.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955703
Random_Goodman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вы-то сами понимаете о чем тут речь? Автор собирается построить дворец куруче всех на свете, только денюжек нету...

Инфантилизм это
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33955715
Фотография Last_Alien
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Random_GoodmanВы-то сами понимаете о чем тут речь? Автор собирается построить дворец куруче всех на свете, только денюжек нету...

Инфантилизм это

Автор поставил глобальную задачу, что в этом плохого?
Если Вы ищете работу за деньги, идите в форум Работа...
...
Рейтинг: 0 / 0
25 сообщений из 309, страница 3 из 13
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Многокритериальный поиск в очень-очень большой базе
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]