Добрый день! Буду рад любому совету, и полезным ссылкам :)
Решил на базе ФБ развернуть некий справочник(поисковую систему).

Есть данные в разных текстовых файлах (порядка 100гб-каждый), написал маленькую утилитку которая преобразует эти файлы для внешних таблиц ФБ. На удивление, относительно быстро все заливается в базу.

Прошелся по всем пунктам в конфиге, доступно все описано, но вопросы все же остались.

Нужно оптимизировать конфиг и бд для максимально быстрой выборки. Данных порядка 10 миллиардов строк и порядка 400 полей. Сейчас залил 300 миллионов строк и 10 основных полей, тестирую на производительность.
На данный момент все данные хранятся в одной таблице, со временем по мере ознакомления со всеми 4 сотнями полей, добавлю вспомогательные таблицы.
Описание структуры:
ОС юниксовая, сервер классик, в БД блобов нет, Varchar полей не больше 60. Одновременных подключений не больше 2-3. Индексы пока что на 2 поля: фамилия, имя(по мере тестирования буду добавлять). Возможность изменять/добавлять/удалять записи на текущем этапе не рассматривается. Крутится все это будет на: 32 logical processors/128GB RAM/SSD 1600(физ память по мере потребности будет добавляться)
Вопросы:
- Какой размер кластера на жестком диске выбрать, точней даже какой размер страницы будет оптимальней всего под выше перечисленное, 16к?
- Вырастит скорость выборки если данные хранить в нескольких базах(и выборку делать одновременно во всех имеющихся бд)? Или это бессмысленно и данные лучше хранить в одной базе?
- На какие настройки в конфиге стоит обратить внимание?(сейчас в конфиге изменено DefaultDbCachePages = 2048,FileSystemCacheSize = 70,MaxUnflushedWriteTime = 5,ExternalFileAccess = Full) С настройками тоже завтра начну экспериментировать.
Как уже говорил, буду рад любой ссылке, по конфигу не очень много смог найти (хотя возможно плохо искал) :)
Заранее огромное спасибо!

Дмитрий, огромное спасибо!

Еще один вопрос, как уже говорил, важна скорость выборки (не дольше одной секунды). Если осуществлять поиск по varchar-ному полю фамилия или имя (LIKE/CONTAINING), скорость выборки больше 2-ух секунд. На сколько вырастет скорость выборки, если создать дополнительные таблицы имен и фамилий, и в основной таблице с данными выполнять поиск foreign-keys вспомогательных таблиц.
Distinct-ом выберу все уникальные значения, занесу в новую таблицу, и в таблице с основными данными просто будут ф-ключи...

Dimitry SibiryakovЕсли ты в дополнительных таблицах будешь искать тем же LIKE/CONTAINING, то нинасколько
скорость не вырастет.

Надежда, что за счет уникальности значений (данных по логике будет меньше) и тот же LIKE/CONTAINING в доп таблице пройдет быстрей.