Несложная специфическая БД для 200 млн записей. / Сравнение СУБД

ReSQL.ru

2.0.59

Планшетная версия Контакт Правила FAQ Помощь

Гость

Войти | Профиль | Очистить

Нов. | Гор. | Избр.

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Действия ...

Доб. в избранное
Игнор. тему
Прикреп. тему
Пометить прочит. / непрочит.
Фильтр:
Сообщения автора темы
Сообщение содержит вложения
Сообщение содержит картинки
Сообщение содержит видеоклипы
Сообщение содержит аудиоклипы
Сообщение содержит картинки или видео 18+

Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Несложная специфическая БД для 200 млн записей. / 5 сообщений из 5, страница 1 из 1

14.08.2009, 13:55

#36144436

nu88

Участник

Сообщения: 873
Рейтинг: 0 / 0

Несложная специфическая БД для 200 млн записей.

Нужно сохранить 200 млн 32-байтных ключей и соответствующих им счётчиков. В общем, это около 10 гигов данных. Находить любую запись за 100 мс, сохранять всю базу без ущерба для обращений к ней. Поддержка языка SQL не обязательна.

1. Могут такое делать бесплатные БД?
2. Что почитать, если идти путём написания своего велосипеда на С++? Спецы по алгоритмам есть, деревьям всяким и т.п.

Модератор:
кросспостинг это зло

...

Рейтинг:

0 / 0

| Ответить | Цитировать | Написать

14.08.2009, 21:44

#36145530

Emery

Участник

Откуда: Украина
Сообщения: 701
Рейтинг: 0 / 0

Несложная специфическая БД для 200 млн записей.

nu88Нужно сохранить 200 млн 32-байтных ключей и соответствующих им счётчиков. В общем, это около 10 гигов данных. Находить любую запись за 100 мс, сохранять всю базу без ущерба для обращений к ней. Поддержка языка SQL не обязательна.

1. Могут такое делать бесплатные БД?
2. Что почитать, если идти путём написания своего велосипеда на С++? Спецы по алгоритмам есть, деревьям всяким и т.п.
Если дело только в этом, то вообще не нужно никаких баз данных. Можно, например, создать собственные файлы баз данных типа DBF с адресацией на 2^64 байт (8-ми байтный указатель) и работать с ними с помощью MMF технологии (файлами отображенными в память). Главное, научится эффективно строить индексные файлы типа CDX. Об этом в данном разделе есть моя статься «Алгоритм создания CDX файлов». Статья еще не закончена, так как остались не разгаданными еще несколько секретов Майкрософт, но все идет к тому, что их удастся «вычислить».

...

Рейтинг:

0 / 0

| Ответить | Цитировать | Написать

14.08.2009, 22:12

#36145544

mayton

Участник

Откуда: loopback
Сообщения: 53 422
Рейтинг: 2 / 0

Несложная специфическая БД для 200 млн записей.

nu88Нужно сохранить 200 млн 32-байтных ключей и соответствующих им счётчиков. В общем, это около 10 гигов данных. Находить любую запись за 100 мс, сохранять всю базу без ущерба для обращений к ней. Поддержка языка SQL не обязательна.
Можно взять библиотеку BerkeleyDB и попробовать создать одну хеш-организованную таблицу. Для гарантии фиксированного отклика разместить базу на RAM-disk. Это уже особенности не БД а конфигурации операционки. Не знаю как насчёт Windows но Линукс это позволяет.

Модератор: Тема перенесена из форума "Программирование".

...

Рейтинг:

0 / 0

| Ответить | Цитировать | Написать

15.08.2009, 02:28

#36145660

AAron

Участник

Откуда: Москва
Сообщения: 3 518
Рейтинг: 0 / 0

Несложная специфическая БД для 200 млн записей.

один или несколько файлов, ключи организовать через хеш-функцию. возможно, кеширование файла средствами ОС или ram-disk.
100мс получить может быть сложно в сило того, что файл надо прочитать.

...

Рейтинг:

0 / 0

| Ответить | Цитировать | Написать

15.08.2009, 11:26

#36145743

Victor Metelitsa

Участник

Откуда: Тюмень
Сообщения: 2 626
Рейтинг: 0 / 0

Несложная специфическая БД для 200 млн записей.

Один из способов хранения данных таблиц в DB2 фактически является обычным массивом a la Pascal (т.е. с нижней и верхней границами) с числовыми индексами.

см. CREATE TABLE statement ,

Код: plaintext

1.
2.
3.
4.

CREATE TABLE ...(...)...
ORGANIZE BY KEY SEQUENCE ORGANIZE BY KEY SEQUENCE column-name
STARTING FROM constant
ENDING AT constant

Specifies that the table is organized in ascending key sequence with a fixed size based on the specified range of key sequence values. A table organized in this way is referred to as a range-clustered table. Each possible key value in the defined range has a predetermined location in the physical table. The storage required for a range-clustered table must be available when the table is created, and must be sufficient to contain the number of rows in the specified range multiplied by the row size

...

Рейтинг:

0 / 0

| Ответить | Цитировать | Написать

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/search_topic.php?author=%D0%A1%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82_2%D0%BA%D1%83%D1%80%D1%81%D0%B0&author_mode=last_posts&do_search=1]:	0ms
get settings:	12ms
get forum list:	14ms
get settings:	12ms
get forum list:	16ms
check forum access:	4ms
check topic access:	4ms
track hit:	44ms
get topic data:	13ms
get forum data:	3ms
get page messages:	43ms
get tp. blocked users:	2ms
others:	846ms

total:	1013ms