|
|
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Привет, sysprg! Ты пишешь: sysprgпотенциально просто сделают это сами (если они вдруг заинтересуются идеей).ааааа... так у вас и идеи имеются... эвона как оно... -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.3 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 18:45 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
sysprg600 миллионов человек. Если каждый из них в день в среднем пошлет 10 запросов, то получится трафик примерно в один миллион запросов в секунду. даже если все эти 600 миллионов ломанутся к вам в один день (что я считаю абсолютно невероятным для любого сервиса в ближайшие 5 лет), то это получается около 70 тысяч запрос в секунду, но никак не миллион. sysprg miksoftэтот проект сможет реализовать только тот, кто не знает, что он невозможен! :) и при условии, что найдет миллионы долларов на предварительные исследования... и не при текущем уровне развития интернета... увы, остаюсь при своем мнении... разве что миллионы можно заменить на сотни миллионов. sysprgВсе когда-то начиналось как проекты, имеющие сотню пользователей, а затем НЕКОТОРЫЕ из этих компаний получили сотни миллионов пользователей.Это было 5-10 лет назад. Тогда зарождались Яндекс и Гугл... Посмотрите, что они представляют из себя сейчас! Особенно Гугл! а вы хотите из обогнать??? по-быстрому мне удалось найти несколько подсетей, занимаемые Гуглом: 66.102.0.0/20 72.14.192.0/18 66.249.64.0/19 64.233.160.0/19 216.239.32.0/19 это примерно 45 тысяч хостов! и Гугл сейчас выполняет значительно меньше запросов, чем миллион запросов в секунду и еще - тот же Гугл и Яндекс обладают мощными командами разработчиков (в широком смысле этого слова), которые уже не один год строят свои системы. А вам нужно найти значительно больше разработчиков не меньшей квалификации, чтобы хотя бы сравняться с лидерами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 19:13 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
> я и спрашиваю в этом форуме о существовании ГОТОВЫХ СУБД Ну как бы абсолютно естественно, что их нет. Нет типовых задач - нет инструментов для их решения. > А вот файловая система и ОС подойдут "любые" Это тоже заблуждение. > пофиг, какая именно ОС и какая именно современная файловая система > используется ниже уровня СУБД Дружище, Вы бы почитали что-нибудь по этому поводу, прежде чем воздух сотрясать. > мне лично неясно, как разделить данные Кто сказал, что их нужно разделять? > хотелось убедится, что подходящего готового решения нет Это опять же неправильно заданный вопрос. Готовых компонентов системы - вагон и маленькая тележка. А готовых к продаже систем нет, что опять же естественно. Был бы спрос - было бы предложение. > готовые движки Дружище, у Вас терминология на уровне школьника, - с такими знаниями незачем лезть в разработку. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 19:19 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
"Иногда, глядя с крыльца на двор и на пруд, говорил он о том, что как бы хорошо было, если бы вдруг от дома провести подземный ход или через пруд выстроить каменный мост, на котором были бы по обеим сторонам лавки, и чтобы в них сидели купцы и продавали разные мелкие товары, нужные для крестьян" (С) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 19:21 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
кстати, еще мысль про Гугл и Яндекс - при поиске они дают приблизительный ответ, т.е. не гарантируются ни точность, ни воспроизводимость поиска! И если часть данных по какой-то причине в данный момент недоступна, но сервера оперируют тем, что у них есть. а в обсуждаемой задаче про это не говорится, т.е. поиск должен быть точным? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 19:22 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
miksoft sysprg600 миллионов человек. Если каждый из них в день в среднем пошлет 10 запросов, то получится трафик примерно в один миллион запросов в секунду. даже если все эти 600 миллионов ломанутся к вам в один день (что я считаю абсолютно невероятным для любого сервиса в ближайшие 5 лет), то это получается около 70 тысяч запрос в секунду, но никак не миллион.Через 5 лет все мобильные устройства (телефоны, прочие гаджеты) будут постоянно подключены к Интернету и все интеллектуальные сервисы на них будут реализованы over IP. Если Вы скажете, что это нереально - посмотрите, например, на развитие IP-телефонии. 5 лет назад этот рынок рассматривали как перспективный, но все же не шло речи о том, что IP-телефония убьет обычную. Сейчас миллионы людей уже вообще не имеют у себя обычных телефонных линий, вообще все long-distance call идут через IP (даже если пользователь об этом не догадывается) и не только fixed телефония уже исчезает как класс, но и мобильные телефоны свои voice-сервисы скоро будут делать через VoIP, а не по своим древним протоколам. Точно так же будет и с прочими мобильными сервисами, все они будут реализованы over IP и все мобильные устройства перманентно будут иметь доступ к Интернету (если их хозяин пожелает им воспользоваться - сможет сделать это в любой момент). А теперь скажите мне, сколько пользователей мобильных телефонов в мире? :) Дайте им интересный сервис - и в эпоху тотального подключения всех мало-мальски развитых стран к Интернету Вы получите многие сотни миллионов клиентов. Особенно если стоить им Ваши услуги будут копейки (а некоторые будут бесплатны). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 19:35 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
sysprgВы получите многие сотни миллионов клиентов.только этих клиентов придется делить с сотнями и тысячами других аналогичных сервисов, начиная с монстров типа Гугла, и заканчивая мелкими региональными провайдерами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 19:42 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Это только мысли или у тебя помимо мыслей есть ещё и деньги? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 19:43 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
2 sysprg Это только мысли или у тебя помимо мыслей есть ещё и деньги? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 19:44 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
pavelvp 2 sysprg Это только мысли или у тебя помимо мыслей есть ещё и деньги?нету у него ничего... иначе бы не на форуме прожектёрством занимался, а профессионалов нанял... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 19:52 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
miksoftнету у него ничего... иначе бы не на форуме прожектёрством занимался, а профессионалов нанял... професионалов для порно-движка ? оригинально ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 20:20 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
miksoftи еще - тот же Гугл и Яндекс обладают мощными командами разработчиков (в широком смысле этого слова), которые уже не один год строят свои системы.Важно понмнить - так было не всегда. miksoftА вам нужно найти значительно больше разработчиков не меньшей квалификации, чтобы хотя бы сравняться с лидерами.Если бы эта логика была правильной, то того же google или, скажем, ICQ, eBay и прочих просто не существовало бы. Как и Microsoft, кстати. Впрочем мы уходим в обсуждение offtopic-а - что такое бизнес и почему маленькие компании регулярно "выносят" с рынка "монстров". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 20:21 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Странно все это. 1. Вместо того, чтобы запустить проект для много меньшей нагрузки и начать зарабатывать деньги, автор сотрясает воздух. 2. автор действительно надеется, что люди уже обладающие такими знаниями будут ими делиться? 3. На мой взгляд, количество запросов в 1М/с необосновано. 4. Дальше, больше... автор планирует сделать сервис, который за 3 минуты обработает больше запросов, чем живет человек в России. За 30 - всех китайцев... Еще за 20 - индусов.... Ну там останутся дальше комары да блошки всякие. Ладно... все это шутки ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 20:26 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
sysprg miksoftА вам нужно найти значительно больше разработчиков не меньшей квалификации, чтобы хотя бы сравняться с лидерами.Если бы эта логика была правильной, то того же google или, скажем, ICQ, eBay и прочих просто не существовало бы. Как и Microsoft, кстати. Впрочем мы уходим в обсуждение offtopic-а - что такое бизнес и почему маленькие компании регулярно "выносят" с рынка "монстров". странно, что ж до сих пор никто не "вынес" никого из приведенного списка? "Вынесите", пожалуйста, Microsoft! Возможно, тогда я стану вашим пользователем :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 20:31 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
guest_20040621 sysprgпофиг, какая именно ОС и какая именно современная файловая система используется ниже уровня СУБД Дружище, Вы бы почитали что-нибудь по этому поводу, прежде чем воздух сотрясать.Вот только не нужно надувать щеки и строить из себя "крутого", фамильярничая. Файловую систему вообще обычно не используют когда нужна скорость, работая с raw разделами на дисках - именно для ускорения работы. Даже на mainframe файловую систему в СУБД не используют по назначению. От ОС же требуется по сути только драйвер дисков (работающих в режиме raw доступа), страничный механизм памяти (опять-таки - более тонкое распределение памяти - самописное во всех движках СУБД), виртуализация процессора (threads, для утилизации мультипроцессорности) и еще TCP/IP стек быстрый. Так что по сути пофиг, какая именно ОС используется - все современные ОС примерно одинаково хорошо справляются с этой базовой работой. Про мэйнфреймы IBM с их уникальным особенным железом и операционными системами за миллион долларов сдаваемыми в аренду можно мне не рассказывать. guest_20040621 sysprgмне лично неясно, как разделить данныеКто сказал, что их нужно разделять?Логика. Разделение позволяет избежать перегрузки отдельного узла - распараллелить работу. guest_20040621А готовых к продаже систем нет, что опять же естественно. Был бы спрос - было бы предложение.Вот это я и хотел выяснить. Сайты производителей СУБД переполнены описаниями всяких жаб и прочей чешуи, докопаться же до информации о том, что же собственно они могут выжать из железа в своей основной области деятельности (в поиске информации в базе) - очень туманна. Тем более нет информации о том, над чем они сейчас работают. Вот благодаря подсказке в форуме удалось выяснить, что ближе всех по своим характеристикам мне подходит IBM DB2, которая реально демонстрировалась на больших кластерах и действительно работает на них и есть отзывы об этом (удалось найти статьи). Увы, система IBM не лишена недостатков - она использует подход sharing nothing, но это все же намного лучше, чем то, что показывают другие. Интересные наработки у Oracle - но похоже у них проблемы с масштабируемостью на большие кластеры. guest_20040621Дружище, у Вас терминология на уровне школьника, - с такими знаниями незачем лезть в разработку.См. первое предложение в ответе. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 20:51 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
miksoftкстати, еще мысль про Гугл и Яндекс - при поиске они дают приблизительный ответ, т.е. не гарантируются ни точность, ни воспроизводимость поиска! И если часть данных по какой-то причине в данный момент недоступна, но сервера оперируют тем, что у них есть. а в обсуждаемой задаче про это не говорится, т.е. поиск должен быть точным?Увы, точным - так как иногда это будет связано с деньгами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 20:52 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
много лет назад я сказал в беседе с одним старым, опытным, и высокопоставленным телекомщиком - "канальная коммуникация must die!" На что он мне ответил - "не дождетесь!" Затем я долго работал в телекоме, и теперь я уже совсем не так категоричен :) Вы привикли, что если нет света, воды, тепла, то вы всегда можете снять трубки и набрать кто 911б кто 01-02-03 IP не убъет канальную коммуникацию в обозримом будущем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 20:55 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
miksoft sysprgВы получите многие сотни миллионов клиентов.только этих клиентов придется делить с сотнями и тысячами других аналогичных сервисов, начиная с монстров типа Гугла, и заканчивая мелкими региональными провайдерами.Опять мы про бизнес. :) Но раз уж зашел разговор, то тут есть два соображения: - Некоторые сервисы ценны именно своей глобальностью и будучи растащенными по отдельным провайдерам или территориям они или полностью теряют смысл, или сильно теряют привлекательность в глазах клиента. Поэтому их следует реализовывать как глобальные в плане географии и метода подключения к Сети с самого начала. - Если повезет быть первыми - то потом другим тысячам сайтов придется пытаться урвать у тебя кусочек рынка, а не тебе с ними тягаться. :) Вспомните - когда-то Google не существовало, когда-то ICQ не существовало, когда-то eBay не существовало и даже Microsoft когда-то не существовало. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 20:59 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Yo.!!очередной порно-движек неа - Big Brother ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 21:01 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
Привет, Anton! Ты пишешь: Anton Yo.!!очередной порно-движек AD> неа - Big Brother учитывая ту порнографию, которую они учинили с ЕГАИС, не удивлюсь... -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.3 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 21:05 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
ggvмного лет назад я сказал в беседе с одним старым, опытным, и высокопоставленным телекомщиком - "канальная коммуникация must die!" На что он мне ответил - "не дождетесь!" Затем я долго работал в телекоме, и теперь я уже совсем не так категоричен :) Вы привикли, что если нет света, воды, тепла, то вы всегда можете снять трубки и набрать кто 911б кто 01-02-03 IP не убъет канальную коммуникацию в обозримом будущем.У меня дома нет fixed телефона вообще, как и у миллионов других людей. Если мне нужно будет позвонить в экстренную службу, а IP-провайдер полег - я воспользуюсь мобильным телефоном. Который хотя и не использует сейчас IP, но использует пакетную передачу данных. А через некоторое время будет использовать классические VoIP технологии (по мнению ведущих западных аналитиков). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 21:08 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
miksoftиначе бы не на форуме прожектёрством занимался, а профессионалов нанял...Hint: подскажите мне, как проще всего отличить профессионала от распальцованного "специалиста" с тысячей сертификатов ищущего нереальную зарплату? ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 21:19 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
если у вас нет фиксированной линии - то это не значит, что пакетная коммутация окончательно победила :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 21:25 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
pavelvp 2 sysprg Это только мысли или у тебя помимо мыслей есть ещё и деньги?Деньги эфемерны и не в них счастье, так какой смысл обсуждать в форуме интересные проблемы в разрезе денег? Деньги приходят к тому, кто готов их взять. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 21:27 |
|
||
|
Многокритериальный поиск в очень-очень большой базе
|
|||
|---|---|---|---|
|
#18+
sysprg Вот благодаря подсказке в форуме удалось выяснить, что ближе всех по своим характеристикам мне подходит IBM DB2, которая реально демонстрировалась на больших кластерах и действительно работает на них и есть отзывы об этом (удалось найти статьи). Увы, система IBM не лишена недостатков - она использует подход sharing nothing, но это все же намного лучше, чем то, что показывают другие. Интересные наработки у Oracle - но похоже у них проблемы с масштабируемостью на большие кластеры. "shared nothing" архитектура - это именно то, что позволяет мастшабироваться б.м. линейно на кластерах. С введением общего диска (RAC) появляется проблема синхронизации кэшей. И проблема эта , как теоретически доказано, является принципиальной (можно поискать исследования на эту тему). Именно поэтому O. не показывает ничего выдающегося на кластерах. А об использовании данной архитектуры в тысячных кластерах можно забыть сразу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2006, 21:35 |
|
||
|
|

start [/forum/topic.php?fid=32&msg=33953772&tid=1545033]: |
0ms |
get settings: |
11ms |
get forum list: |
17ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
186ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
70ms |
get tp. blocked users: |
1ms |
| others: | 224ms |
| total: | 529ms |

| 0 / 0 |
