powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Многокритериальный поиск в очень-очень большой базе
25 сообщений из 309, страница 2 из 13
Многокритериальный поиск в очень-очень большой базе
    #33953643
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Привет, sysprg!
Ты пишешь:

sysprgпотенциально просто сделают это сами
(если они вдруг заинтересуются идеей).ааааа...
так у вас и идеи имеются...
эвона как оно...

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953711
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysprg600 миллионов человек.
Если каждый из них в день в среднем пошлет 10 запросов, то получится трафик примерно в один миллион запросов в секунду.
даже если все эти 600 миллионов ломанутся к вам в один день (что я считаю абсолютно невероятным для любого сервиса в ближайшие 5 лет), то это получается около 70 тысяч запрос в секунду, но никак не миллион.


sysprg miksoftэтот проект сможет реализовать только тот, кто не знает, что он невозможен! :)
и при условии, что найдет миллионы долларов на предварительные исследования... и не при текущем уровне развития интернета...
увы, остаюсь при своем мнении... разве что миллионы можно заменить на сотни миллионов.

sysprgВсе когда-то начиналось как проекты, имеющие сотню пользователей, а затем НЕКОТОРЫЕ из этих компаний получили сотни миллионов пользователей.Это было 5-10 лет назад. Тогда зарождались Яндекс и Гугл... Посмотрите, что они представляют из себя сейчас! Особенно Гугл! а вы хотите из обогнать???

по-быстрому мне удалось найти несколько подсетей, занимаемые Гуглом:
66.102.0.0/20
72.14.192.0/18
66.249.64.0/19
64.233.160.0/19
216.239.32.0/19
это примерно 45 тысяч хостов!
и Гугл сейчас выполняет значительно меньше запросов, чем миллион запросов в секунду

и еще - тот же Гугл и Яндекс обладают мощными командами разработчиков (в широком смысле этого слова), которые уже не один год строят свои системы. А вам нужно найти значительно больше разработчиков не меньшей квалификации, чтобы хотя бы сравняться с лидерами.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953728
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> я и спрашиваю в этом форуме о существовании ГОТОВЫХ СУБД

Ну как бы абсолютно естественно, что их нет. Нет типовых задач - нет инструментов для их решения.

> А вот файловая система и ОС подойдут "любые"

Это тоже заблуждение.

> пофиг, какая именно ОС и какая именно современная файловая система
> используется ниже уровня СУБД

Дружище, Вы бы почитали что-нибудь по этому поводу, прежде чем воздух сотрясать.

> мне лично неясно, как разделить данные

Кто сказал, что их нужно разделять?

> хотелось убедится, что подходящего готового решения нет

Это опять же неправильно заданный вопрос. Готовых компонентов системы - вагон и маленькая тележка. А готовых к продаже систем нет, что опять же естественно. Был бы спрос - было бы предложение.

> готовые движки

Дружище, у Вас терминология на уровне школьника, - с такими знаниями незачем лезть в разработку.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953733
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
"Иногда, глядя с крыльца на двор и на пруд, говорил он о том, что как бы хорошо было, если бы вдруг от дома провести подземный ход или через пруд выстроить каменный мост, на котором были бы по обеим сторонам лавки, и чтобы в них сидели купцы и продавали разные мелкие товары, нужные для крестьян" (С)
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953738
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
кстати, еще мысль про Гугл и Яндекс - при поиске они дают приблизительный ответ, т.е. не гарантируются ни точность, ни воспроизводимость поиска! И если часть данных по какой-то причине в данный момент недоступна, но сервера оперируют тем, что у них есть.

а в обсуждаемой задаче про это не говорится, т.е. поиск должен быть точным?
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953762
sysprg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoft sysprg600 миллионов человек.
Если каждый из них в день в среднем пошлет 10 запросов, то получится трафик примерно в один миллион запросов в секунду.
даже если все эти 600 миллионов ломанутся к вам в один день (что я считаю абсолютно невероятным для любого сервиса в ближайшие 5 лет), то это получается около 70 тысяч запрос в секунду, но никак не миллион.Через 5 лет все мобильные устройства (телефоны, прочие гаджеты) будут постоянно подключены к Интернету и все интеллектуальные сервисы на них будут реализованы over IP. Если Вы скажете, что это нереально - посмотрите, например, на развитие IP-телефонии. 5 лет назад этот рынок рассматривали как перспективный, но все же не шло речи о том, что IP-телефония убьет обычную. Сейчас миллионы людей уже вообще не имеют у себя обычных телефонных линий, вообще все long-distance call идут через IP (даже если пользователь об этом не догадывается) и не только fixed телефония уже исчезает как класс, но и мобильные телефоны свои voice-сервисы скоро будут делать через VoIP, а не по своим древним протоколам. Точно так же будет и с прочими мобильными сервисами, все они будут реализованы over IP и все мобильные устройства перманентно будут иметь доступ к Интернету (если их хозяин пожелает им воспользоваться - сможет сделать это в любой момент). А теперь скажите мне, сколько пользователей мобильных телефонов в мире? :) Дайте им интересный сервис - и в эпоху тотального подключения всех мало-мальски развитых стран к Интернету Вы получите многие сотни миллионов клиентов. Особенно если стоить им Ваши услуги будут копейки (а некоторые будут бесплатны).
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953770
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysprgВы получите многие сотни миллионов клиентов.только этих клиентов придется делить с сотнями и тысячами других аналогичных сервисов, начиная с монстров типа Гугла, и заканчивая мелкими региональными провайдерами.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953772
pavelvp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это только мысли или у тебя помимо мыслей есть ещё и деньги?
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953776
pavelvp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 sysprg Это только мысли или у тебя помимо мыслей есть ещё и деньги?
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953786
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pavelvp 2 sysprg Это только мысли или у тебя помимо мыслей есть ещё и деньги?нету у него ничего... иначе бы не на форуме прожектёрством занимался, а профессионалов нанял...
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953830
Yo.!!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftнету у него ничего... иначе бы не на форуме прожектёрством занимался, а профессионалов нанял...
професионалов для порно-движка ?
оригинально ...
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953831
sysprg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoftи еще - тот же Гугл и Яндекс обладают мощными командами разработчиков (в широком смысле этого слова), которые уже не один год строят свои системы.Важно понмнить - так было не всегда.

miksoftА вам нужно найти значительно больше разработчиков не меньшей квалификации, чтобы хотя бы сравняться с лидерами.Если бы эта логика была правильной, то того же google или, скажем, ICQ, eBay и прочих просто не существовало бы. Как и Microsoft, кстати.

Впрочем мы уходим в обсуждение offtopic-а - что такое бизнес и почему маленькие компании регулярно "выносят" с рынка "монстров".
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953837
AAron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Странно все это.
1. Вместо того, чтобы запустить проект для много меньшей нагрузки и начать зарабатывать деньги, автор сотрясает воздух.
2. автор действительно надеется, что люди уже обладающие такими знаниями будут ими делиться?
3. На мой взгляд, количество запросов в 1М/с необосновано.
4. Дальше, больше... автор планирует сделать сервис, который за 3 минуты обработает больше запросов, чем живет человек в России. За 30 - всех китайцев... Еще за 20 - индусов.... Ну там останутся дальше комары да блошки всякие.

Ладно... все это шутки
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953843
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysprg miksoftА вам нужно найти значительно больше разработчиков не меньшей квалификации, чтобы хотя бы сравняться с лидерами.Если бы эта логика была правильной, то того же google или, скажем, ICQ, eBay и прочих просто не существовало бы. Как и Microsoft, кстати.

Впрочем мы уходим в обсуждение offtopic-а - что такое бизнес и почему маленькие компании регулярно "выносят" с рынка "монстров".
странно, что ж до сих пор никто не "вынес" никого из приведенного списка?

"Вынесите", пожалуйста, Microsoft!
Возможно, тогда я стану вашим пользователем :)
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953860
sysprg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
guest_20040621 sysprgпофиг, какая именно ОС и какая именно современная файловая система используется ниже уровня СУБД
Дружище, Вы бы почитали что-нибудь по этому поводу, прежде чем воздух сотрясать.Вот только не нужно надувать щеки и строить из себя "крутого", фамильярничая. Файловую систему вообще обычно не используют когда нужна скорость, работая с raw разделами на дисках - именно для ускорения работы. Даже на mainframe файловую систему в СУБД не используют по назначению. От ОС же требуется по сути только драйвер дисков (работающих в режиме raw доступа), страничный механизм памяти (опять-таки - более тонкое распределение памяти - самописное во всех движках СУБД), виртуализация процессора (threads, для утилизации мультипроцессорности) и еще TCP/IP стек быстрый. Так что по сути пофиг, какая именно ОС используется - все современные ОС примерно одинаково хорошо справляются с этой базовой работой. Про мэйнфреймы IBM с их уникальным особенным железом и операционными системами за миллион долларов сдаваемыми в аренду можно мне не рассказывать.

guest_20040621 sysprgмне лично неясно, как разделить данныеКто сказал, что их нужно разделять?Логика. Разделение позволяет избежать перегрузки отдельного узла - распараллелить работу.

guest_20040621А готовых к продаже систем нет, что опять же естественно. Был бы спрос - было бы предложение.Вот это я и хотел выяснить. Сайты производителей СУБД переполнены описаниями всяких жаб и прочей чешуи, докопаться же до информации о том, что же собственно они могут выжать из железа в своей основной области деятельности (в поиске информации в базе) - очень туманна. Тем более нет информации о том, над чем они сейчас работают.

Вот благодаря подсказке в форуме удалось выяснить, что ближе всех по своим характеристикам мне подходит IBM DB2, которая реально демонстрировалась на больших кластерах и действительно работает на них и есть отзывы об этом (удалось найти статьи). Увы, система IBM не лишена недостатков - она использует подход sharing nothing, но это все же намного лучше, чем то, что показывают другие. Интересные наработки у Oracle - но похоже у них проблемы с масштабируемостью на большие кластеры.

guest_20040621Дружище, у Вас терминология на уровне школьника, - с такими знаниями незачем лезть в разработку.См. первое предложение в ответе.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953863
sysprg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoftкстати, еще мысль про Гугл и Яндекс - при поиске они дают приблизительный ответ, т.е. не гарантируются ни точность, ни воспроизводимость поиска! И если часть данных по какой-то причине в данный момент недоступна, но сервера оперируют тем, что у них есть.

а в обсуждаемой задаче про это не говорится, т.е. поиск должен быть точным?Увы, точным - так как иногда это будет связано с деньгами.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953866
ggv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ggv
Гость
много лет назад я сказал в беседе с одним старым, опытным, и высокопоставленным телекомщиком - "канальная коммуникация must die!"
На что он мне ответил - "не дождетесь!"
Затем я долго работал в телекоме, и теперь я уже совсем не так категоричен :)
Вы привикли, что если нет света, воды, тепла, то вы всегда можете снять трубки и набрать кто 911б кто 01-02-03
IP не убъет канальную коммуникацию в обозримом будущем.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953869
sysprg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoft sysprgВы получите многие сотни миллионов клиентов.только этих клиентов придется делить с сотнями и тысячами других аналогичных сервисов, начиная с монстров типа Гугла, и заканчивая мелкими региональными провайдерами.Опять мы про бизнес. :)
Но раз уж зашел разговор, то тут есть два соображения:
- Некоторые сервисы ценны именно своей глобальностью и будучи растащенными по отдельным провайдерам или территориям они или полностью теряют смысл, или сильно теряют привлекательность в глазах клиента. Поэтому их следует реализовывать как глобальные в плане географии и метода подключения к Сети с самого начала.
- Если повезет быть первыми - то потом другим тысячам сайтов придется пытаться урвать у тебя кусочек рынка, а не тебе с ними тягаться. :) Вспомните - когда-то Google не существовало, когда-то ICQ не существовало, когда-то eBay не существовало и даже Microsoft когда-то не существовало.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953872
Фотография Anton Demidov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo.!!очередной порно-движек
неа - Big Brother
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953876
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Привет, Anton!
Ты пишешь:

Anton Yo.!!очередной порно-движек
AD> неа - Big Brother учитывая ту порнографию, которую они учинили с ЕГАИС, не удивлюсь...

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953877
sysprg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ggvмного лет назад я сказал в беседе с одним старым, опытным, и высокопоставленным телекомщиком - "канальная коммуникация must die!"
На что он мне ответил - "не дождетесь!"
Затем я долго работал в телекоме, и теперь я уже совсем не так категоричен :)
Вы привикли, что если нет света, воды, тепла, то вы всегда можете снять трубки и набрать кто 911б кто 01-02-03
IP не убъет канальную коммуникацию в обозримом будущем.У меня дома нет fixed телефона вообще, как и у миллионов других людей. Если мне нужно будет позвонить в экстренную службу, а IP-провайдер полег - я воспользуюсь мобильным телефоном. Который хотя и не использует сейчас IP, но использует пакетную передачу данных. А через некоторое время будет использовать классические VoIP технологии (по мнению ведущих западных аналитиков).
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953882
sysprg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoftиначе бы не на форуме прожектёрством занимался, а профессионалов нанял...Hint: подскажите мне, как проще всего отличить профессионала от распальцованного "специалиста" с тысячей сертификатов ищущего нереальную зарплату? ;)
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953886
ggv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ggv
Гость
если у вас нет фиксированной линии - то это не значит, что пакетная коммутация окончательно победила :)
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953888
sysprg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
pavelvp 2 sysprg Это только мысли или у тебя помимо мыслей есть ещё и деньги?Деньги эфемерны и не в них счастье, так какой смысл обсуждать в форуме интересные проблемы в разрезе денег? Деньги приходят к тому, кто готов их взять.
...
Рейтинг: 0 / 0
Многокритериальный поиск в очень-очень большой базе
    #33953896
Выбегалло
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysprg
Вот благодаря подсказке в форуме удалось выяснить, что ближе всех по своим характеристикам мне подходит IBM DB2, которая реально демонстрировалась на больших кластерах и действительно работает на них и есть отзывы об этом (удалось найти статьи). Увы, система IBM не лишена недостатков - она использует подход sharing nothing, но это все же намного лучше, чем то, что показывают другие. Интересные наработки у Oracle - но похоже у них проблемы с масштабируемостью на большие кластеры.


"shared nothing" архитектура - это именно то, что позволяет мастшабироваться б.м. линейно на кластерах. С введением общего диска (RAC) появляется проблема синхронизации кэшей. И проблема эта , как теоретически доказано, является принципиальной (можно поискать исследования на эту тему). Именно поэтому O. не показывает ничего выдающегося на кластерах. А об использовании данной архитектуры в тысячных кластерах можно забыть сразу.
...
Рейтинг: 0 / 0
25 сообщений из 309, страница 2 из 13
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Многокритериальный поиск в очень-очень большой базе
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]