Задача:
Придумать структуру БД, в ней будет производиться поиск, сортировка, максимально эффективно и быстро.
БД со временем может достигнуть объемов до 100ГБ - 300ГБ.
С данной БД будет работать один пользователь, так что нужно именно эффективность и быстрота для одного пользователя, а не для посещаемого сайта.

В данный момент придумали такую структуру и алгоритм Оптимизации базы для быстрого поиска:
(добавление данных не обязательно должно быть быстро, по гигабайту данных в сутки, максимальное время добавления до 7 часов,
а вот поиск и сортировка быстрей, ну хотя бы чтоб на один запрос уходило не более 1 - 5 минут)

Таблица в 5 полей.

id, uid, url, code, post_date

id = Уникальный кей записи
uid = Специальный айдишник того, кто урл добавил
ulr = сам урл (С него удалено http:// и www.)
code = первые три или пять букв урл
post_date = время добавления в Unix TIMESTAMP

Пример:

У нас есть записи:

id = цифра любая от 1 до 5 миллиардов (Как минимум)
uid = 1234567
ulr = google.com
code = goo или googl
post_date = 1235399496

т.е. для поиска нам нужно будет сделать следующий поиск:

code = googl

В теории это получается, что БД будет делать поиск не во всей базе, а только в тех записях, в которых ссылка начинается на нужный нам поиск.

Еще нужно учесть, что вывод будет постраничный, т.е. если MySQL или PostgreSQL то LIMIT 0, 50 и т.п.
----------------------------------
1.Какой максимальный размер MySql будет стабильно работать в этой ситуации?
2.Возможно, может лучше PostgreSQL? или ещё что-то ? (MySQL может быть и потянет 100гб, MyISAM, InnoDB, но нужно оптимальная структура, по офиц. данным MySQL, PostgreSQL вытянут 100ГБ и даже 1ТБ)
3.Такой алгоритм быстрого поиска хороший или есть лучше ?Другая структура?

файлы не подходят.
Все это делаться будет на пхп или накрайни случий Дельфи. Например я создал файл 1 ГБ он парсирлся у меня долго, а если будет 50 гб файл? это будет очень долго.
Потом еще сделал струкруту папкой и там файл с данными так теперь не могу удалить эту папку т.к. винда тупо вступор приходит и ни чего не удаляет. И осуществлять поиск намного затруднительней по файлам таких объемов, как по мне!:?

Ну по офиц. данным MySQL потянит такие объемы. Только вот какой хард для этого нужен будет, неизвестно.

индексирование с FULLTEXT?
Просто нужно будет производить поиск, по полю url, типа если начинается ссылка например на google.com то вывести все которые на неё начинаются, как я понимаю для этого нужен FULLTEXT?

guest_20040621BrainForce, смените ник на "строитель трехколесных велосипедов". Вагон софта для поиска и индексирования, Вы полагаете, что сможете написать лучше?

Я так не полагаю. Я хочу использовать БД...а мне советуют на файлах.

Наверно вы что-то не поняли.

guest_20040621> Поэтому наименее болезненный путь для Вас - воспользоваться готовым ПО.

Например