|
|
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
AAronСтранно все это. 1. Вместо того, чтобы запустить проект для много меньшей нагрузки и начать зарабатывать деньги, автор сотрясает воздух.Деньги поначалу поступают медленнее, чем растет нагрузка. Если стартовать не имея запаса прочности, то весь проект будет провален из-за того, что элементарно поляжет под нагрузкой и дискредитирует себя в глазах своих пользователей. Но тут же на это место придут другие, как бывает всегда. Поэтому в данном случае нужно сначала проработать ядро системы на опережение (и в бизнесе, так и в технологии) и уже затем запускать сервис. Я видел, как погибали интересные бизнесы, которые не справились с нагрузкой - и на их место приходили другие ребята. Представляете как было обидно тем, первым? AAron2. автор действительно надеется, что люди уже обладающие такими знаниями будут ими делиться?Какими знаниями? Я же не прошу технического задания для программистов или описания структуры базы данных. Меня интересует опыт участия и примерные соображения как это сделать, интересуют имеющиеся технические средства (готовые СУБД) и алгоритмические идеи - если тут присутствуют представители "академической среды". AAron3. На мой взгляд, количество запросов в 1М/с необосновано.Сейчас - согашусь, да. Но нужно думать о будущем, если ты в проекте участвуешь не просто формально, за зарплату. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 21:38 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
ggvесли у вас нет фиксированной линии - то это не значит, что пакетная коммутация окончательно победила :)Если сами телефонные компании гонят long-distance трафик через IP, то даже не смотря на то, что у "традиционных" абонентов пока что еще стоят обычные телефоны - это все равно говорит о том, что пакетная коммуникация победила. :) Зачастую уже дешевле платить за IP, чем за классическую fixed телефонную линию. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 21:42 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
sysprgВот благодаря подсказке в форуме удалось выяснить, что ближе всех по своим характеристикам мне подходит IBM DB2, которая реально демонстрировалась на больших кластерах и действительно работает на них и есть отзывы об этом (удалось найти статьи). Увы, система IBM не лишена недостатков - она использует подход sharing nothing, но это все же намного лучше, чем то, что показывают другие. Интересные наработки у Oracle - но похоже у них проблемы с масштабируемостью на большие кластеры. Читаем мнение Оракла по этому поводу (PDF). Вот линк на документ, сравнивающий подходы Оракла и IBM (в URL-e есть скобки, которые мешают оформить его правильно на форуме): http://www.oracle.com/technology/products/database/clustering/pdf/twp_rac_10g_vs_db2_v8.2[1].pdf Я еще раз отошлю на www.tpc.org Кто-нибудь, найдите мне успешное применение кластеров DB2 для OLTP !!! Желательно на 1024 нодах Кстати, было бы интересно посмотреть на аналогичное сравнение от IBM, может кто видел - киньте линк, плиз. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 22:32 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
> Вот только не нужно надувать щеки ;)) Дружище, Вам учиться нужно, а не фигню в форумах писать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 23:18 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Anton DemidovКстати, было бы интересно посмотреть на аналогичное сравнение от IBM, может кто видел - киньте линк, плиз. Что нашел на их сайте: www-306.ibm.com/software/data/db2/benchmarks/111704.html www-306.ibm.com/software/data/highlights/scalecluster.html ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 06:32 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Anton Demidov sysprgВот благодаря подсказке в форуме удалось выяснить, что ближе всех по своим характеристикам мне подходит IBM DB2, которая реально демонстрировалась на больших кластерах и действительно работает на них и есть отзывы об этом (удалось найти статьи). Увы, система IBM не лишена недостатков - она использует подход sharing nothing, но это все же намного лучше, чем то, что показывают другие. Интересные наработки у Oracle - но похоже у них проблемы с масштабируемостью на большие кластеры. Читаем мнение Оракла по этому поводу (PDF). Вот линк на документ, сравнивающий подходы Оракла и IBM (в URL-e есть скобки, которые мешают оформить его правильно на форуме): http://www.oracle.com/technology/products/database/clustering/pdf/twp_rac_10g_vs_db2_v8.2[1].pdf Я еще раз отошлю на www.tpc.org Кто-нибудь, найдите мне успешное применение кластеров DB2 для OLTP !!! Желательно на 1024 нодах Кстати, было бы интересно посмотреть на аналогичное сравнение от IBM, может кто видел - киньте линк, плиз. Забавно, что Oracle только рассуждает о теоретических преимуществах их подхода, а IBM публикует результаты TPC-C ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 08:36 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
sysprg Сейчас - согашусь, да. Но нужно думать о будущем, если ты в проекте участвуешь не просто формально, за зарплату. Если думать о будущем, то надо принимать во внимание что планируется глобальный проект, а это означает тысячи серверов распределенных по всему миру. Наличие такого количества серверов уменьшает нагрузку на каждый отдельно взятый сервер до приемлемых сотен запросов в секунду. Сотовой связью сейчас тоже пользуются миллиарды, но никто же не требует супермощности от отдельной базовой станции. Я практически уверен что любой сервер БД через пять лет потянет вышеописанный сценарий. Даже MySQL. Если правильно настроить load balancing и репликацию. Posted via ActualForum NNTP Server 1.3 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 09:01 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
sysprg[Увы, тривиальные решения работают только на тривиальных задачах. Пользователь может запросить информацию по двум атрибутам, по каждому из которых есть, скажем, 10000 записей, а их пересечение - всего-навсего 100 записей. Если я буду из базы выгребать даже 10000 записей для последующего отсеивания, то мне никаких машинных мощностей не хватит при большом потоке запросов. Как я сказал в постановке задачи, многих пользователей интересуют "нетривиальные" пересечения, у которых короткий ответ, но по "ID" атрибутов это предсказать трудно - даже по самому "короткому" из них может быть достаточно много записей (не миллионы, но много). Тривиальное решение было придумано в курилке за пять минут в рамках существующих СУБД. Идея проекта интересна. Но ядро придется писать с 0 (некоторые наработки по этой теме у меня имеются, так что принципиальных проблем не вижу). В-принципе есть мысли по практической реализации подобной системы даже на современном железе, но обсуждать это в общедоступном форуме считаю глупым. Так что, если хотите - пишите письма, адрес моего почтового ящика - в профиле. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 10:24 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Выбегалло Забавно, что Oracle только рассуждает о теоретических преимуществах их подхода, а IBM публикует результаты TPC-C уважаемый, протрите глаза ;) у бимеров были когда-то кластерные тесты, я помню, видать теперь им за них стыдно. пока только оракл показывает реальную работу кластеров (e-bay, amazon и т.п.) и только оракл показывает тесты на кластерах в ERP задачах (sap parallel, oebs) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 10:27 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
miksoftстранно, что ж до сих пор никто не "вынес" никого из приведенного списка? А вот Digital вынесли :-((( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 12:47 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Привет, pavelvp! Ты пишешь: pavelvpp> А вот Digital вынесли ибо нефик было связываться с Билли. а то продали Катлера со товарищи, да поверили сказкам про то, что Alpha + NT будет на каждом столе... кстати, та же история повторяется с Борландом... -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.3 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 12:58 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
sysprgДеньги эфемерны и не в них счастье, так какой смысл обсуждать в форуме интересные проблемы в разрезе денег? Деньги приходят к тому, кто готов их взять. А... Значит ты готов. Тогда ещё вопрос. А есть ли кто-то, кто готовых их отдать? Просто поучаствовать в таком проекте хотелось бы. Но если денег нету... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 12:59 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
pavelvp sysprgДеньги эфемерны и не в них счастье, так какой смысл обсуждать в форуме интересные проблемы в разрезе денег? Деньги приходят к тому, кто готов их взять. А... Значит ты готов. Тогда ещё вопрос. А есть ли кто-то, кто готовых их отдать? Код: plaintext А у тебя есть конкретные идеи для участия? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 13:02 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
до тех пор, пока результаты TPC-C на одной SMP машине лучше, чем на кластерах (а последнее время становятся еще все дешевле и дешевле), IBM нет смысла делать тесты на кластерах. В OLTP пока нет такой задачи, которую бы не решил последний p5. Могу продположитть, что ситуация не начнет меняться до тех пор, пока такая задача не появится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 13:05 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Last_AlienА у тебя есть конкретные идеи для участия? Для начала могу предложить автору топика посмотреть в сторону Teradata... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 13:18 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
pavelvpДля начала могу предложить автору топика посмотреть в сторону Teradata... Я не автор, но посмотрел. Ну и...? Ну РСУБД, ну 1024 ноды. Прочитай внимательно первый авторский пост. Какие идеи по решению основной задачи в рамках классической СУБД? Сделать таблицу с 1000 ключами и 10^8 записями? Думаю не потянет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 13:34 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Last_Alien Прочитай внимательно первый авторский пост. Какие идеи по решению основной задачи в рамках классической СУБД? Из первого поста совершенно ясно что автору сначала надо прослушать курсы по проектированию БД. Уже после слов "с динамически добавляемыми колонками" можно отправлять в сад. Ты же сам привел решение в рамках классической СУБД, которое было отвергнуто под абсолютно надуманным предлогом. Posted via ActualForum NNTP Server 1.3 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 14:00 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov Из первого поста совершенно ясно что автору сначала надо прослушать курсы по проектированию БД. Уже после слов "с динамически добавляемыми колонками" можно отправлять в сад. Ты же сам привел решение в рамках классической СУБД, которое было отвергнуто под абсолютно надуманным предлогом. Posted via ActualForum NNTP Server 1.3 Автор мыслит креативно. И этого с него достаточно. Если бы он был проф.админом-программистом БД, он бы с этими вопросами сюда не пришел. Если у него есть возможность выбить финансирование под проект и решить др.организационные вопросы - то какие к нему претензии? Про то мое решение - см.мой комент выше. Предлог не надуманный. Идеи по более глубокому и качественному решению у меня уже есть. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 14:20 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
:) Задача в усеченном варианте: - критерии только на строгое равенство - количество результирующих записей относительно невелико Решение в самом общем виде: 1. Кластер брокеров запросов (производительность, достаточная для обработки 1М запросов в секунду :) ). 2. Группа кластеров хранения атрибутов, на каждый атрибут свой кластер. Храним: - индекс "[значение атрибута]->[кол-во объектов]+[список идентификаторов объекта]". - индекс "[идентификатор]->[значение атрибута]" 3. Порядок работы: - Кластер брокеров запросов получает запрос, разбирает критерии и посылает запросы по отдельным критериям соответствующим кластерам атрибутов. - Получает от них информацию по количеству идентификаторов с данным значением соответствующего атрибута, составляет список опроса. - По списку опроса запрашивает у соответствующего кластера с мин. кол-вом объектов список их идентификаторов. - Список идентификаторов последовательно рассылается оставшимся кластерам для корректировки на вхождение идентификаторов. - Итоговый список идентификаторов посылается на оставшиеся атрибутные кластеры для получения значений атрибутов. - Результат отправляется на клиент. Вроде все параллелится. И кажется, что время отклика линейно зависит от кол-ва кластеров и узлов в них. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 14:37 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
sysprg pavelvp 2 sysprg Это только мысли или у тебя помимо мыслей есть ещё и деньги?Деньги эфемерны и не в них счастье, так какой смысл обсуждать в форуме интересные проблемы в разрезе денег? Деньги приходят к тому, кто готов их взять. Если кому что-то с автором было непонятно, должно было стать понятным после этой фразы. ИМХО, автор, вам лучше с бабульками на лавочке вести разговоры - продуктивнее получится. А судьбы мира на загаженной кухне мы все давно умеем решать вообще без СУБД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 14:51 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
_niсht_schissen_:) Вроде все параллелится. И кажется, что время отклика линейно зависит от кол-ва кластеров и узлов в них. Слишком много железа. Посмотри критику автором моего первоначального варианта. Если у тебя выборки по двум отдельным атрибутам будут по 100тыс.записей, а их пересечение - 100 записей, то как будет вести себя система? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 14:55 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Random_Goodman sysprg pavelvp 2 sysprg Это только мысли или у тебя помимо мыслей есть ещё и деньги?Деньги эфемерны и не в них счастье, так какой смысл обсуждать в форуме интересные проблемы в разрезе денег? Деньги приходят к тому, кто готов их взять. Если кому что-то с автором было непонятно, должно было стать понятным после этой фразы. ИМХО, автор, вам лучше с бабульками на лавочке вести разговоры - продуктивнее получится. А судьбы мира на загаженной кухне мы все давно умеем решать вообще без СУБД. Уважаемый, а Вы думать и изрекать свои мысли начинаете только после того, как Вам стобаксовой бумажкой перед носом покрутят?:-))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 14:58 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Last_Alien Уважаемый, а Вы думать и изрекать свои мысли начинаете только после того, как Вам стобаксовой бумажкой перед носом покрутят?:-))) Именно так. Или если они у меня уже есть и мне наплевать кто что скажет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 15:01 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Вы-то сами понимаете о чем тут речь? Автор собирается построить дворец куруче всех на свете, только денюжек нету... Инфантилизм это ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 15:03 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Random_GoodmanВы-то сами понимаете о чем тут речь? Автор собирается построить дворец куруче всех на свете, только денюжек нету... Инфантилизм это Автор поставил глобальную задачу, что в этом плохого? Если Вы ищете работу за деньги, идите в форум Работа... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.08.2006, 15:06 |
|
||
|
|

start [/forum/topic.php?fid=32&msg=33954006&tid=1545033]: |
0ms |
get settings: |
8ms |
get forum list: |
10ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
165ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
43ms |
get tp. blocked users: |
1ms |
| others: | 254ms |
| total: | 494ms |

| 0 / 0 |
