Приветствую всех, надумал маленький "проект" написать, самое важное в нем БД,
так как у самого опыта по этому вопросу мало - решил обратиться к Вам за помощью,
Вообщем есть таблица на 100-500 млн записей, всего 2 поля
первое поле - строка из нескольких слов
второе - long int

что нужно от базы - максимально быстро делать выборки из базы одновременно в ~5 потоков

запись в базу будет производиться раз в месяц-два, так что не важна скорость записи, только чтение.
в данный момент у меня все данных в txt файле, и свою задачу я решаю вот так:
авторcat ~/BASE.txt | grep "WORD" >> ~/выборка.txt

Буду рад всем советам, спасибо.

АнатоЛой1. Что значит "максимально"? Какое конкретно время будет приемлемо? Идеально?
каждый запрос может выполняться до 10-20 минут при условии что одновременно выполняется 5-10 выборок

АнатоЛой2. Какие именно выборки? Поиск по слову, как в примере? Какой может быть объём возвращаемых данных?
Первое поле содержит в себе строковые данные типа:
слово1 слово2 слово3 слово4слово1 слово8 слово9 слово37слово7 слово5слово6слово3 слово2 слово22слово8 слово1

делая из них выборку по ключевому слову "слово1" получаем выборку вида
слово1 слово2 слово3 слово4 слово1 слово8 слово9 слово37слово8 слово1

объем от 10 записей до 10-ка тысяч.

АнатоЛойКак много данных за один раз будет дописываться? Какое время будет считаться приемлемым? Идеальным?
будет записываться сразу ~100 млн записей, приемлимыми будут сутки =) идеальными - меньше суток. не критично


АнатоЛойНа текущий момент что не устраивает?
то что шелл я никому не хочу давать а помимо меня базами должны пользоваться люди, для этого делается веб морда, да и не всем понравится такой способ =)

miksoft,
это оговорочка была, я написал модератору и попросил исправить, от 10 до 10-ка тысяч записей в выборке.

и по поводу full-text search прокомментировать ничего не могу,
но запросы в полном виде примерно такие
cat somefile.txt | grep SOME_WORD | grep -v ANOTHER_WORD | grep -v STOP_WORD >> output.txt
тоесть при выборке учитываются "исключающие" слова, но это можно будет и реализовать и без помощи БД.

Вообщем все что нужно - найти те записи которые в строковом поле содержат нужное СЛОВО.

греп проходится по базе из 210 млн за 2 минуты и 13 секунд, при распаралеливании задачи не знаю насколько просядет скорость.

автор[12:31 PM] oik@srv [~/Base] $ time cat base.txt | grep "идеокурс" | grep -v "есплатно" >> ~/test_out.txt

real 2m13.368s
user 0m9.353s
sys 0m18.477s
[12:33 PM] oik@srv [~/Base] $ cat base.txt | wc -l
210408631


в тестовой выборке из примера вышло 10к записей.

АнатоЛой, это исключительно моя инициатива а не проект для продажи =)
потребность в данном сервисе есть у узкого круга людей, к томуже за него готовы платить.
приятно и полезно, плюс в портфолио java junior'а =)

хотел использовать базу т.к. есть возможность попрактиковаться с jdbc да и в лице работодателя продукт который требуется спросом будет увесистей чем студ. проект =)

сеичас поставил infobright и заливаю базу, посравниваю скорость выборки одиночные, параллельно исполняемые.

в завасимости от результатов останусь на БД либо напишу планировщик и скину текстовой файл на два разных диска(чтобы немного расширить рамки I/O в которые я упираюсь сеичас)

пока писал пост залилась, поставил запрос:
авторselect * from keywords where (locate(lower('идеокурс'),lower(keyword))>0);
минут 15-20 уже думает, пожалуй напишу лучше свои планировщик и буду грепать =)

авторmysql> show profiles;
+----------+---------------+---------------------------------------------------------------------------+
| Query_ID | Duration | Query |
+----------+---------------+---------------------------------------------------------------------------+
| 1 | 1353.33723800 | select * from keywords where (locate(lower('????????'),lower(keyword))>0) |
| 2 | 0.23863600 | select * from keywords limit 20 |
+----------+---------------+---------------------------------------------------------------------------+

перечитал пост, много опечаток и непонятных речевых оборотов, надеюсь суть будет понятна =)
извиняюсь.