|
|
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
ВыбегаллоА если кластер заведомо проигрышней SMP на OLTP типа нагрузке, то зачем бенчмарки гонять, зачем результаты выставлять и позориться, а ? Ключевое слово - масштабируемость . SMP можно расширять до какого-то предела как средство №1, потом можно еще один узел добавить, когда уже некуда процессора и память втыкать. Подход IBM - выкиньте старое SMP железо и купите (конечно же у них) более мощное. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 00:55 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Anton DemidovСел в лужу IBM - это у него попугаев получилось меньше в ТРС-С, вот и шифруется теперь. да, я тоже не понял понял почему sap parrallel c лотус нотес на железе из другой эпохи не сравнить, там тоже какие-то попугаи, а че тоже 2 буквы в названии тестов совпадает ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 01:35 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Yo.!! Anton DemidovСел в лужу IBM - это у него попугаев получилось меньше в ТРС-С, вот и шифруется теперь. да, я тоже не понял понял почему sap parrallel c лотус нотес на железе из другой эпохи не сравнить, там тоже какие-то попугаи, а че тоже 2 буквы в названии тестов совпадает че сказать-то хотели ? И как насчет разницы в результатах TPC-C - есть достоверное объяснение, почему так слабо и почему никто, включая Оракла, давно не выкладывает новых ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 02:24 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Yo.!! Anton DemidovСел в лужу IBM - это у него попугаев получилось меньше в ТРС-С, вот и шифруется теперь. да, я тоже не понял понял почему sap parrallel c лотус нотес на железе из другой эпохи не сравнить, там тоже какие-то попугаи, а че тоже 2 буквы в названии тестов совпадает че сказать-то хотели ? И как насчет разницы в результатах TPC-C - есть достоверное объяснение, почему так слабо и почему никто, включая Оракла, давно не выкладывает новых ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 02:29 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Anton Demidov ВыбегаллоА если кластер заведомо проигрышней SMP на OLTP типа нагрузке, то зачем бенчмарки гонять, зачем результаты выставлять и позориться, а ? Ключевое слово - масштабируемость . SMP можно расширять до какого-то предела как средство №1, потом можно еще один узел добавить, когда уже некуда процессора и память втыкать. Подход IBM - выкиньте старое SMP железо и купите (конечно же у них) более мощное. Месье теоретик ? Вот товарищ от сохи рассказывает : /topic/210788&pg=2 ------ Тот же тривиальный SUN B1000 можно проапгрейдить заменой CPU на двухядерный А еще можно шасси взять и позже платами добивать Да много вариантов. У меня на старой работе заменили стариный RS/6000 - просто вернули местному IBM и доплатили. Получили новый. Вариантов куча. ------ А при постановке новых узлов - ваши 8 дешевых нодов будут работать как 5. Так что слухи о дешевизне RAC сильно преувеличены. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 02:36 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Ба, никак дба мухосранский прорезался. ;) Ну что, дружище, рассказали своему CIO о резервировании? Слюнявчик от моего имени пообещали? Хм... огорчу, передумал. Нефиг всем подряд в красявых слюнявчиках в цветочек щеголять. ;) > как стервятник на падаль Спасибо, дружище. > разговаривать по теме опасается По какой теме, дружище? ;) Полагаете, я должен объяснить всем дебилам на свете, почему именно 100 Тб оперативных данных не бывает? Хм... а зачем? Если человеку нравится топорщить пальцы, рассуждая о VLDB - пусть топорщит, мне это ничуть не мешает. Дружище, я уже говорил, что dba - это исключительно тупая работа. Не нужно вот так буквально стараться соответствовать моим тезисам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 02:42 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
guest_20040621Ба, никак дба мухосранский прорезался. ;) Ну что, дружище, рассказали своему CIO о резервировании? Слюнявчик от моего имени пообещали? Хм... огорчу, передумал. Нефиг всем подряд в красявых слюнявчиках в цветочек щеголять. ;) > как стервятник на падаль Спасибо, дружище. > разговаривать по теме опасается По какой теме, дружище? ;) Полагаете, я должен объяснить всем дебилам на свете, почему именно 100 Тб оперативных данных не бывает? Хм... а зачем? Если человеку нравится топорщить пальцы, рассуждая о VLDB - пусть топорщит, мне это ничуть не мешает. Дружище, я уже говорил, что dba - это исключительно тупая работа. Не нужно вот так буквально стараться соответствовать моим тезисам. А вы у нас, стало быть, столичная штучка. Правда, ничего слаще Firebird-а вы не видели, к 100Т хранилищам и близко не подходили, а земля, по-вашему, безусловно плоская. Кстати, все забываю спросить - так что вам ваш знакомый с будущим "пикобайтным" хранилищем сказал по поводу бэкапа на ленты ? Покрутил у виска ? Или, как я подозреваю, нет никакого знакомого ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 04:20 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
есть такой продукт (ну или семейство продуктов) - Product Center. Предназначен для хранения инфы по всевозможным категориям товаров со всевозможным кол-вом аттрибутов (как пример - пластиковая бутылка воды в торг сети описывается около 50 атрибутами), позволяет моделировать всевозможнейшие иерархии, и выгружать необходимые срезы В основном предназнаен для работы в пакетном режиме - когда предприятия/департамент выгружает нужную ему иерархию товаров и с ней работают, но может работать и в режиме хаба, отвечая на запросы. Создан продукт так как была потребность предприятий в едином взгляде на товары/услуги с разных сторон - бухгалтер смотрит, например, с одной стороны на номенклатуру товаров, а технолог совсем с другой. Предприятие производитель имеет свои взгляды на производимую им бутилированную воду, а вот магазин имеет свои, совсем другие взгляды. Та же "разреженная таблица с переменным супер-пупер динамическим" кол-вом аттрибутов. Только ее никто таблицей не называет. И используют по назначению, под имеющиеся задачи. И справляется с очень охрененными кол-вами данных. Ведь не редкость, что предприятие имеет дело с тысячами товаров, с сотнями поставщиков, и с тысячами аттрибутов. Их произведение - охрененная величина. Была реальная потребность - сделали решение. IBM продает и внедряет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 09:51 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Кстати, что-то подобное на схожую тему я читал в PCWeek. Там в самом начале есть коротенькие заметки об американской военщине. Много сообщений о попытках и проектах анализа и работы с разреженными массивами данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 10:05 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
sysprg Автор читал Кнута??? Ну тогда можно общаться дальше :-) Как Вы относитесь к оптимальным бинарным деревьям поиска и построению системы на их основе? Для примера пересечения 2млн.записей с атрибутом 1 и 10тыс.записей с атрибутом 2 и их пересечением в 100 записей, можно реализовать систему, поднимающую с диска максимум 122 записи при условии хранения значений атрибутов в самих записях. Увеличение кол-ва записей с атрибутами при том же их пересечении в 100 раз приведет к росту необходимой выборки до 138 записей. (формулы здесь рисовать вломы). Если Вам это не интересно, можете продолжать общаться с флудерами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 10:29 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Random_Goodman И последнее: вы меня тока не бейте, но у меня почему-то очень сильное подозрение, что если взять идею дорогого аффтора, стереть нафиг его проектирование, почесать репу и сделать свое, то в результате получится не миллион, а сто и не кластер а комп а может и вообще на WinXp Home Edition+ mySQL запашет прекрасно... Боюсь это ясно уже почти всем кроме самого аффтара. Он загипнотизировал себя словами "переменное количество столбцов" и "очень разряженные данные". На практике это "переменное количество" на счет "раз" сворачивается в фиксированное, а данные уплотняются. Ну и дальше, как и сказал Последний Алиен, в ход идут оптимальные деревья и битовые маски. Posted via ActualForum NNTP Server 1.3 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 11:16 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov Боюсь это ясно уже почти всем кроме самого аффтара. Он загипнотизировал себя словами "переменное количество столбцов" и "очень разряженные данные". На практике это "переменное количество" на счет "раз" сворачивается в фиксированное, а данные уплотняются. Ну и дальше, как и сказал Последний Алиен, в ход идут оптимальные деревья и битовые маски. Posted via ActualForum NNTP Server 1.3 Не цитируй меня, не зная моей идеи. Ты мыслишь в рамках существующих СУБД. Для решения поставленной задачи нужна система, заточенная под разреженные таблицы большой размерности. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 11:32 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Читаю, читаю этот топик.... устал. Опять пошли разговоры не по теме и т.п. К автору. Пожалуйста, ну очень Вас прошу, приведите хотя бы краткую постановку задачи с примерами и подайте ее людям для обсуждения. Ну, если не хотите ваших страшных тайн открывать, на которых Вы деньги будете зарабатывать на миллионах пользователей, приведите пример из другой области. В противном случае, все обсуждение ничего не даст, Вы и сами это видите. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 11:35 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
antandЧитаю, читаю этот топик.... устал. Опять пошли разговоры не по теме и т.п. К автору. Пожалуйста, ну очень Вас прошу, приведите хотя бы краткую постановку задачи с примерами и подайте ее людям для обсуждения. Ну, если не хотите ваших страшных тайн открывать, на которых Вы деньги будете зарабатывать на миллионах пользователей, приведите пример из другой области. В противном случае, все обсуждение ничего не даст, Вы и сами это видите. Читай топик полностью и не ленись :-) Автор уже раз пять задачу ставил. Обсуждение кое-что дает. Если бы не мешали личности уровня db admin/prog, было бы проще. Задача должна решаться на уровне алгоритмов и sys prog. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 11:39 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Привет, Last_Alien! Ты пишешь: Last_AlienLA> Читай топик полностью и не ленись :-) LA> Автор уже раз пять задачу ставил.а она всё не стоит и не стоит... интеллектуальная импотенция, не иначе! -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.3 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 12:16 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Мимопроходящий Если тебе нечего сказать, то лучше промолчи (будешь казаться умнее). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 12:22 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Привет, Last_Alien! Ты пишешь: Last_AlienLA> Если тебе нечего сказать, то лучше промолчи (будешь казаться умнее). иди с дичком воюй, обиженный. если ты считаешь тот нефильтрованный поток сознания, который выплеснул в форум автор, постановкой задачи , то вам двоим действительно есть о чём поговорить... -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.3 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 12:38 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Мимопроходящий Привет, Last_Alien! иди с дичком воюй, обиженный. если ты считаешь тот нефильтрованный поток сознания, который выплеснул в форум автор, постановкой задачи , то вам двоим действительно есть о чём поговорить... -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.3 Так мы с ним и общаемся. А ты только и делаешь, что вставляешь свои абсолютно бессмысленные коментарии. Читай другие ветки, где тебе постановка задач нравится. В чем проблема-то? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 12:43 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Привет, Last_Alien! Ты пишешь: Last_AlienLA> Так мы с ним и общаемся. А ты только и делаешь, что вставляешь LA> свои абсолютно бессмысленные коментарии. Читай другие ветки, LA> где тебе постановка задач нравится. В чем проблема-то?в ЕКБ, наверное... -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.3 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 12:45 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Мимопроходящий в ЕКБ , наверное... расшифруй ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 12:47 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Last_Alien Не цитируй меня, не зная моей идеи. Ты мыслишь в рамках существующих СУБД. Так изложите ее, о великий. Я вижу Вы таки считаете необходимым под его типовую задачу разрабатывать специализированную СУБД... Posted via ActualForum NNTP Server 1.3 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 13:12 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov Так изложите ее, о великий. Я вижу Вы таки считаете необходимым под его типовую задачу разрабатывать специализированную СУБД... Posted via ActualForum NNTP Server 1.3 Зачем бесплатно отдавать то, на чем можно сделать деньги? Чтобы их сделали другие?:-))) Виртуальный гипермаркет планетарного масштаба для Вас типовая задача???? Из какой галактики Вы к нам прилетели, уважаемый?:-))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 13:19 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Армейская исследовательская лаборатория США заказала у фирмы Linux Networx (www.linuxnetworx.com) кластер из 4096 процессоров Intel Xeon 5100 / 3 ГГц с суммарной производительностью около 50 Тфлопс. ОЗУ комплекса составит 8,5 Тб, объём жестких дисков — 260 Тб. Специалисты Linux Networx в данный момент развертывают в лаборатории ещё один специализированный кластер LS Visual Supersystem, предназначенный для визуализации больших объёмов данных. В ходе опытной эксплуатации на этом кластере пакета распределенного рендеринга сложных трёхмерных сцен EnSight DR 8 (www.ensight.com) был достигнут мировой рекорд скорости рендеринга — 1,5 млрд. полигонов/с (почти в три раза выше предыдущего). При этом система показывает линейный рост производительности при наращивании числа процессоров. Пока в ней задействуется 128 двухъядерных процессоров AMD Opteron Model 280 с общим ОЗУ 1024 Мб. Кластер работает под управлением RedHat Enterprise Linux. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 13:23 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
> А вы у нас, стало быть, столичная штучка. Комплексуете? Бросьте. Зато, видимо, Вы первый, кому социальные службы по работе с умственно отсталыми нашли работу dba. > "пикобайтным" хранилищем Дружище, "пико" - это 10^-12. Оптимисты работают в этой социальной службе. И работодатель Ваш - оптимист. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 13:32 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Привет, Last_Alien! Ты пишешь: Last_AlienLA> Зачем бесплатно отдавать то, на чем можно сделать деньги? LA> Чтобы их сделали другие?:-))) LA> Виртуальный гипермаркет планетарного масштаба для Вас типовая задача???? Когда я был маленький, злой дебил, За моей спиной стоял огромный мир. Казался тенью от моих волос, И дышал мне в темя, как теплый пес. Но пришел черед и для моих работ... /*Алексей Кортнев.*/ начинающие всегда уверены, что их первая программа перевернёт мир... с возрастом это проходит. обычно. -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.3 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2006, 13:38 |
|
||
|
|

start [/forum/topic.php?fid=32&msg=33958446&tid=1545033]: |
0ms |
get settings: |
11ms |
get forum list: |
21ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
193ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
80ms |
get tp. blocked users: |
1ms |
| others: | 244ms |
| total: | 573ms |

| 0 / 0 |
