Таблица состоит из:
- 1 поле первичный ключ с автоинкрементом
- 5 полей VARCHAR(255) с индексами для быстрой выборки
- 1 поле TEXT (в среднем длина текста 1500 байт)

Сейчас в таблице уже 8 млн записей, через месяц будет 30 млн, а за год до 300 млн, через три года 1 млрд. Для начала попробовал PostgreSQL 8.3, работа с БД ведется из веб-приложения на Java.

Сервер Phenom X4 c 4GB RAM и одним жестким диском на 500GB. Платить деньги за коммерческие БД смысла не вижу(если есть - поясните).

Какие потенциально могут быть у меня проблемы c БД? Сейчас, например, подсчет количества записей в таблице уже ведется с помощью триггеров(триггер на добавление-удаление ячеек), т.к. запрос SELECT COUNT(*) FROM table занимает много времени. Выборка по VARCHAR полям тоже уже происходит не так быстро, как хотелось бы.

Нужно улучшать сервер? Ставить второй жесткий диск и в RAID? Может попытаться использовать систему как Apache Hadoop?
Кроме этой таблицы, в БД будут таблицы с максимум 10 тыс. записей/

Подскажите, я новичок в СУБД. И вижу, что среди реляционных бесплатных БД выбор очень небольшой: MySQL, PostgreSQL, Firebird, Apache Derby...

kdvвсе нормально, кроме
AJetmanСтавить второй жесткий диск и в RAID?
второй жесткий диск это будет RAID 1. А чтобы ускорить это надо RAID 10, т.е. 4 диска, или "еще три".

Проверить с миллиардом записей не так сложно. Мне тут надо было, и я потратил 4 дня на проверку Firebird с терабайтной БД (в наибольшей таблице было чуть меньше 4-х миллиардов записей).

Так что заливай тестовые данные, и тестируй. Да... Для этого тогда придется смоделировать систему с изначальными данными в хотя бы 100 млн записей и нагрузку в виде добавления 10 зап/сек.

SERG1257AJetmanКакие потенциально могут быть у меня проблемы c БД? Судя по всему у вас проблемы с дизайном базы. Сходите в соседний форум , а еще лучше найдите архитектора, расскажите все о вашей базе, о данных и т.д. и получите ответ. Сильно подозреваю, что вашей таблице не помешает нормализация. Поискал информацию о "нормализации" и понял, что мои знания о БД на нуле. Только и хватает на простые веб-приложения.

Спасибо за совет сходить на соседний форум, думаю воспользуюсь, но хочу упрямо разместить сразу здесь SQL код схемы таблицы. И переименовал все поля, чтобы их названия вас не смутили:
Таблица - хранилище логов дата-майнинга. Обработка этих данных ведется другими сторонними программами, поэтому информация в таблице должна хранится вечно, а выборка будет производится по полям, на которые создан индекс.

Сервер арендуется, поэтому изменить конфигурацию для накопителей можно, а также создать RAID-массив. Жесткий диск сейчас SATA, не SCSI.

Подтяну свою знания и проведу тесты на домашнем ноутбуке(конфигурация практически идентична, но процессор 2 ядра) и выложу изыскания на общее обозрение. А сервер на Phenom, к сожалению, уже в работе.
Поэтому, пока записей в таблице не много, подумал, что необходимо выбрать правильную базу и раз и навсегда, тем более, что "соскочить" на нее будет еще просто.

AAronAJetman,

ну так проведите сайзинг. вообще, хватит ли этого сервера на 1млрд записей? сколько будет занимать база? сколько памяти понадобится для оперативной работы. запросы будут только на запись? на чтение? на запись/чтение, в какой пропорции? Уже запись идет 10 зап/сек, чтение редко, но большими блоками, до 100 тыс. записей.

SERG1257AJetman мои знания о БД на нулеЭто нормально. Найдите людей у которых это выше нуля.
AJetman но хочу упрямо разместить сразу здесь SQL код схемы таблицыУпрямость конечно не порок, но я спрашивал немного не то. Мне как и другому архитектору неинтересно, как вы это реализовали. Гораздо интереснее условия задачи.
Что за данные

Как данные добавляются/изменяются (чохом, по одной).

Как важна доступность данных - немедленно после вставки, или можно через определенный промежуток времени.

Как данные запрашиваются - примеры запросов

Где необходима оптимизация - например пофиг сколько будет занимать вставка, но чтение должно быть максимально быстро

Хрустальный шар подсказывает что это что-то типа DWH . Если так, тогда все упрощается (не вы первый не вы последний) стало быть можно пользоваться готовыми шаблонами и best practice.
Выбранная база (редакция) накладывает свои ограничения, то бишь возможно придется вручную реализовывать секционирование, материализованые представления и т.д.
Благодарен за наводку на DWH, вы просто открыли мне другой мир. Введя запрос Open Source Data warehouse нашел несколько очень интересных продуктов.

Пока, в принципе, дискуссию можно закрыть - за дополнительной помощью буду обращаться позже.

Благодарю всех за внимание!