powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД для проекта с 1ТБ данных
29 сообщений из 29, показаны все 2 страниц
Выбор БД для проекта с 1ТБ данных
    #32943047
1_VV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день!

Посоветуйте, пожалуйста, какую БД выбрать для такого проекта:

- есть сотни гигабайт цифровых данных (короткие floats), расположенных в огромном количестве маленьких (порядка 1 кб) двоичных файлах.
- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра).
- результат выборки нужно представить в обозримом виде.
- пользовательский интерфейс должен быть написан на VC++, платформа Windows XP
- нет нужды в сетях, интернете, многопользовательских делах.

Спасибо!

VV
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32943104
Фотография tygra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
автор- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра).
Из них - это из двоичных данных? Или данные для выборки лежат отдельно от двоичных?

-- Tygra's --
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32943163
avilm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1_VVДобрый день!

Посоветуйте, пожалуйста, какую БД выбрать для такого проекта:

- есть сотни гигабайт цифровых данных (короткие floats), расположенных в огромном количестве маленьких (порядка 1 кб) двоичных файлах.
- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра).
- результат выборки нужно представить в обозримом виде.
- пользовательский интерфейс должен быть написан на VC++, платформа Windows XP
- нет нужды в сетях, интернете, многопользовательских делах.

Спасибо!

VV

Ну, вообще по скорости выполнения запросов вроде как MySQL самая быстрая. А так, все конечно зависит от конкретных нужд и возможностей, то есть по сути тут любая БД подойдет (Oracle, MSSQL, DB2 и т.д.)
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32943165
Alexey Rovdo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ООСУБД Versant Developer Suite .
Можно попробовать FastObjects j7. Скорось будет высочайшей, но вот потянет ли FastObjects базу в 1 Тб, точно сказать не могу.
Основные плюсы обоих систем - прямая интеграция с C++, что позволяет существенно сократить время и упростить разработку приложений. Минусы - некоторые проблемы при необходимости получения сложной аналитики (отчетов) (в особенности это касается FastObjects).
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32943444
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1_VV
- есть сотни гигабайт цифровых данных (короткие floats), расположенных в огромном количестве маленьких (порядка 1 кб) двоичных файлах.
- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра).

Ну у Оракла, например, можно организоваить комбинрованное секционирование (партицирование как здесь иногда говорят) по диапазону и Хеш по параметру. Тогда за счет пропуска ненужных секций он будет искать при выполнении подобных запросов не в сотнях мегобайт а в 1 или 0.5 Гб.
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32943746
Alexey Sh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Oracle Database 10g Personal Edition
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32943887
1_VV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dear Gentlemen.

большое спасибо за отличные советы!

- Все файлы имеют одинаковую структуру (360 полей Х от 300 до 3000 записей из урезанных 2-х байтовых floats).
- Количество возможных вариантов запросов очень мало (порядка 10).
- Нет нужды в real-time.
- Заказчик не планирует затраты на покупку БД дороже VFoxPro.

Исходя из этого и следуя вашим советам выбираю для теста MySQL.

VV
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32944030
Фотография segun
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо что хоть кластер не успели предложить :)
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32944067
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Возможно, имеет смысл написать свою прикладу, которая будет напрямую работать с файлами, дабы не грузить их постоянно в БД. С MySQL и т.п. могут быть проблемы в эксплуатации, обусловленные невысоким качеством таких продуктов.
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32944149
Фотография Хрен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Специально для Scott Tiger:
"Coverity's analysis of MySQL found an average of one bug in every 4,000 lines of code--results that are at least four times better than is typical with commercial software." - вот ссылка
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32944159
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сношал я в орал этих продажных аналитиков.
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32944177
1_VV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Да, это отличная идея,

тем более что все файлы имеют стандартные имена, в которых заложено всё что нужно для запросов (дата, время и т.д.).

Возможно, стоит попробовать держать до миллиона записей (по одной на файл) в mdb. Туда собирать взятые из имени файла параметры и путь к файлу.
А по запросу пользователя временно импортировать нужные файлы в MySQL для обработки?

VV
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32944205
Фотография Хрен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Scott TigerСношал я в орал этих продажных аналитиков.

достойный ответ.. жаль без аргументов.
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32944206
Alexey Rovdo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ну вот и разобрались. А то как напишут - 1 Тб - главное не мелочиться.
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32944210
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А зачем такие сложности с индексом файлов и т.д.? Как ты говоришь, имя файла вычисляемо по заданным входным параметрам. Просто это будет СУБД без SQL и заточенная под одну-единственную задачу. Трудозатраты, разумеется, выше, но результат может быть лучше, если всё хорошо сделать. Возможные узкие места - производительность файловой системы на мелких чтениях (заведомо невысокая) и количестве файлов.
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32944215
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2Хрен - я без особых аргументов сношал. Они всегда врут в интересах того, кто платит им деньги.
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32944228
Фотография Хрен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2Scott:
"откуда у нее шерстяной костюм?? ты проверял? я тоже - нет. Значит ворованое" (c) Жванецкий
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32944316
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1_VV
Заказчик не планирует затраты на покупку БД дороже VFoxPro.

Но планирует иметь БД на 1Тб? Раз уж у них такие планы в принципе прокататывают, то почему бы им не спланировать вложить в дело 10 баксов и получить 10 лимонов? Зачем париться с какими-то базами?
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32945760
AI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хрен2Scott:
"откуда у нее шерстяной костюм?? ты проверял? я тоже - нет. Значит ворованое" (c) Жванецкий

Не все, что от Жванецкого - хорошо сказано.
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32950299
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1_VV- Заказчик не планирует затраты на покупку БД дороже VFoxPro.
Для сведения: Personal Oracle, который Вам предложили, в полтора раза дешевле, нежели VFP :)
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32950332
Фотография mv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Scott TigerСношал я в орал этих продажных аналитиков.

1_VVДа, это отличная идея,

тем более что все файлы имеют стандартные имена, в которых заложено всё что нужно ...

VV
:)
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32950338
Фотография mv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey RovdoООСУБД Versant Developer Suite .
Можно попробовать FastObjects j7. Скорось будет высочайшей, но вот потянет ли FastObjects базу в 1 Тб, точно сказать не могу.
Основные плюсы обоих систем - прямая интеграция с C++, что позволяет существенно сократить время и упростить разработку приложений. Минусы - некоторые проблемы при необходимости получения сложной аналитики (отчетов) (в особенности это касается FastObjects).

Уважаемый Alexey Rovdo, я с Вашей подачи потратил некоторое время на изучение спецификаций Versant Open Access Suite, не подскажете: нет ли к ним иного API, чем классы Java/C++ (ну, меня конкретно Delphi <-> FastObjects j7 интересует).
Где можно найти спецификации на возможности/ограничения FastObjects j7?
Какие средства навигации по объектному пространства используются?
Какие средства синхронизации локальных (клиентских) объектных пространств есть ли там вообще такое понятие?
Наличие средств поддержки эволюции модели (изменение версии структуры метаданных)/эволюции данных (версии хранимых объектов)?
Имеет ли смысл использование технологии для локальных приложений невысокой сложности (пара десятков классов(со структурой в потора десятка атрибутов)/ассоциаций, несколько десятков тысяч объектов)?
Средства репликации данных?
Средства работы клиентов с большими коллекциями (сотни тысяч объектов и больше)?
Входит ли в состав среды разработки система визуализации (интерактивные компоненты/классы, средства создания отчетов) (я ж с Дельфей - :-))?


И я не нашел прайс - листа...

С уважением - mv
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32950855
Licvidator_guest
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
авторИсходя из этого и следуя вашим советам выбираю для теста MySQL.

А MySQL потянет терабайтную БД? Помнится мне, там было ограничение на БД в размере 2 Гб.
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32950957
Фотография Хрен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Потянет. Ограничение было на размер таблицы и то, потому что размер файла ограничен 2 Г на определенных файловх системах.
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32951027
Alexey Rovdo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mv
Уважаемый Alexey Rovdo, я с Вашей подачи потратил некоторое время на изучение спецификаций Versant Open Access Suite, не подскажете: нет ли к ним иного API, чем классы Java/C++ (ну, меня конкретно Delphi <-> FastObjects t7 интересует).
[quot]

Java/C++/C#(и др. IL-совместимые языки).
C Delphi, увы, FO не интегрируется.

[quot mv]
Где можно найти спецификации на возможности/ограничения FastObjects j7?


Самые подробные спецификации по FastObjects находятся на community.fastobjects.com

mv
Какие средства навигации по объектному пространства используются?


Навигация по ссылкам, OQL-запросы, именованные объекты, итераторы.

mv
Какие средства синхронизации локальных (клиентских) объектных пространств есть ли там вообще такое понятие?


Транзакции, блокировка в рамках транзакции объектов, загруженных в кэш клиента, с открытием новой транзакции старые объекты можно автоматически актуализировать текущим содержимым БД (т.е. мы синхронизируем локальные объектные пространства не друг с другом, а с объектным пространством единой БД).

mv
Наличие средств поддержки эволюции модели (изменение версии структуры метаданных)/эволюции данных (версии хранимых объектов)?


Определенные средства есть (эволюция модели, версии объектов). Лучше обратиться к технической документации (стр. ~137) продукта для детального ознакомления с ними. От себя только добавлю, что в VDS таких средств больше, а их возможности шире.

mv
Имеет ли смысл использование технологии для локальных приложений невысокой сложности (пара десятков классов(со структурой в потора десятка атрибутов)/ассоциаций, несколько десятков тысяч объектов)?


Да, имеет. Основные преимущества - быстрая разработка. Основной недостаток - цена. Т.е. имеет смысл, если вы разрабатываете много таких приложений, готовите тиражируемый продукт со встроенной БД (FastObjects очень хорошо приспособлен для встраивания в приложения) или вам по вкусу именно ОО-подход, а SQL вы просто не любите.

mv
Средства репликации данных?


Синхронная и асинхронная репликация, кластеризация, master/slave-репликация.

mv
Средства работы клиентов с большими коллекциями (сотни тысяч объектов и больше)?


Об особенностях обработки коллекций лучше всего почитать здесь (C++) и здесь (Java).

mv
Входит ли в состав среды разработки система визуализации (интерактивные компоненты/классы, средства создания отчетов) (я ж с Дельфей - :-))?


Да входит (разработка структуры классов). Кроме этого FastObjects интегрируется с различными IDE (увы не с Дельфями).
Для C++: MS VS, C++-компиляторы под Linux, Unix.
Для Java: Borland JBuilder, Sun One Studio, Eclipse (IBM WAD ... ), Forte
Для C# и др. .NET языков: MS VS .NET.

Подробнее см. здесь .

Для построения отчетов можно использовать типовые сторонние средства, осуществляя доступ к БД FastObjects через ODBC (FastObjects Connect) или объектно-ориентированный генератор отчетов Qint (см. www.qint.de ).

mv
И я не нашел прайс - листа...


Официальные цены для России здесь . Разумеется, это максимальные значения. Есть много способов их снизить и притом значительно.

С уважением, Алексей Ровдо.
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32952653
1_VV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Re:
Для сведения: Personal Oracle, который Вам предложили, в полтора раза дешевле, нежели VFP :)

Dear Softwarer,

спасибо за отличный совет!

Пока сделал пробный проект на VC:

- создаётся mdb файл;
- автоматом просматриваются каталоги с bin файлами и в mdb создаётся таблица (по одной записи на файл, разбор имени на десяток полей, нужных для запросов, и поле в котором лежит путь к файлу);
- эта таблица выводится в виде CListView, сотрированная как надо;
- пользователь может двойным кликом вызвать любой bin файл в виде bmp-картинки (CView, MDI-интерфейс).

Попробовал на 1 млн. файлов, mdb нормально тянет по скорости сортировки.
Медленно заполняется CListView (несколько минут).

Теперь пробую быстро сделать (по совету Tiger) негибкую обработку запроса пользователя прямо по линии mdb -> bin-файлы (сбор кучи bin-файлов в один avi-файл).

Потом буду наконец пробовать импорт самих данных из bin-файлов в MySQL или Oracle Personal Edition.

Всем большое спасибо за обсуждение и помощь!

VV
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32957493
Фотография mv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey Rovdo
...

Официальные цены для России здесь . Разумеется, это максимальные значения. Есть много способов их снизить и притом значительно.

... Алексей Ровдо.

Однако...

----------------------
Спасибо за информацию, обрабатываю.
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32957497
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey Rovdo
Официальные цены для России здесь. Разумеется, это максимальные значения. Есть много способов их снизить и притом значительно.

Вы там и EE Оракла 10-го продаете? 1 лицензия 1 647.60 руб. ? А попдробнее? Что я с этим буду иметь право делать?
...
Рейтинг: 0 / 0
Выбор БД для проекта с 1ТБ данных
    #32957523
Alexey Rovdo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vadiminfo Вы там и EE Оракла 10-го продаете? 1 лицензия 1 647.60 руб. ? А попдробнее? Что я с этим буду иметь право делать?

Это не стоимость лицензии - это стоимость самой коробки с дисками. Которую вы неизбежно приобретаете при покупке лицензии (лицензий). Так уж это придумано ораклом. Фактически покупка оракла включает как минимум три компоненты: лицензия (лицензии), техподдержка, коробка с дисками. А отдельно продается только техподдержка, если речь идет о ее продлении к уже имеющимся у вас лицензиям.
...
Рейтинг: 0 / 0
29 сообщений из 29, показаны все 2 страниц
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД для проекта с 1ТБ данных
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]