Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД для проекта с 1ТБ данных / 25 сообщений из 29, страница 1 из 2
03.03.2005, 10:54
    #32943047
1_VV
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Добрый день!

Посоветуйте, пожалуйста, какую БД выбрать для такого проекта:

- есть сотни гигабайт цифровых данных (короткие floats), расположенных в огромном количестве маленьких (порядка 1 кб) двоичных файлах.
- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра).
- результат выборки нужно представить в обозримом виде.
- пользовательский интерфейс должен быть написан на VC++, платформа Windows XP
- нет нужды в сетях, интернете, многопользовательских делах.

Спасибо!

VV
...
Рейтинг: 0 / 0
03.03.2005, 11:09
    #32943104
tygra
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
автор- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра).
Из них - это из двоичных данных? Или данные для выборки лежат отдельно от двоичных?

-- Tygra's --
...
Рейтинг: 0 / 0
03.03.2005, 11:23
    #32943163
avilm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
1_VVДобрый день!

Посоветуйте, пожалуйста, какую БД выбрать для такого проекта:

- есть сотни гигабайт цифровых данных (короткие floats), расположенных в огромном количестве маленьких (порядка 1 кб) двоичных файлах.
- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра).
- результат выборки нужно представить в обозримом виде.
- пользовательский интерфейс должен быть написан на VC++, платформа Windows XP
- нет нужды в сетях, интернете, многопользовательских делах.

Спасибо!

VV

Ну, вообще по скорости выполнения запросов вроде как MySQL самая быстрая. А так, все конечно зависит от конкретных нужд и возможностей, то есть по сути тут любая БД подойдет (Oracle, MSSQL, DB2 и т.д.)
...
Рейтинг: 0 / 0
03.03.2005, 11:23
    #32943165
Alexey Rovdo
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
ООСУБД Versant Developer Suite .
Можно попробовать FastObjects j7. Скорось будет высочайшей, но вот потянет ли FastObjects базу в 1 Тб, точно сказать не могу.
Основные плюсы обоих систем - прямая интеграция с C++, что позволяет существенно сократить время и упростить разработку приложений. Минусы - некоторые проблемы при необходимости получения сложной аналитики (отчетов) (в особенности это касается FastObjects).
...
Рейтинг: 0 / 0
03.03.2005, 12:57
    #32943444
vadiminfo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
1_VV
- есть сотни гигабайт цифровых данных (короткие floats), расположенных в огромном количестве маленьких (порядка 1 кб) двоичных файлах.
- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра).

Ну у Оракла, например, можно организоваить комбинрованное секционирование (партицирование как здесь иногда говорят) по диапазону и Хеш по параметру. Тогда за счет пропуска ненужных секций он будет искать при выполнении подобных запросов не в сотнях мегобайт а в 1 или 0.5 Гб.
...
Рейтинг: 0 / 0
03.03.2005, 14:21
    #32943746
Alexey Sh
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Oracle Database 10g Personal Edition
...
Рейтинг: 0 / 0
03.03.2005, 14:49
    #32943887
1_VV
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Dear Gentlemen.

большое спасибо за отличные советы!

- Все файлы имеют одинаковую структуру (360 полей Х от 300 до 3000 записей из урезанных 2-х байтовых floats).
- Количество возможных вариантов запросов очень мало (порядка 10).
- Нет нужды в real-time.
- Заказчик не планирует затраты на покупку БД дороже VFoxPro.

Исходя из этого и следуя вашим советам выбираю для теста MySQL.

VV
...
Рейтинг: 0 / 0
03.03.2005, 15:28
    #32944030
segun
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
хорошо что хоть кластер не успели предложить :)
...
Рейтинг: 0 / 0
03.03.2005, 15:42
    #32944067
Scott Tiger
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Возможно, имеет смысл написать свою прикладу, которая будет напрямую работать с файлами, дабы не грузить их постоянно в БД. С MySQL и т.п. могут быть проблемы в эксплуатации, обусловленные невысоким качеством таких продуктов.
...
Рейтинг: 0 / 0
03.03.2005, 16:01
    #32944149
Хрен
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Специально для Scott Tiger:
"Coverity's analysis of MySQL found an average of one bug in every 4,000 lines of code--results that are at least four times better than is typical with commercial software." - вот ссылка
...
Рейтинг: 0 / 0
03.03.2005, 16:03
    #32944159
Scott Tiger
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Сношал я в орал этих продажных аналитиков.
...
Рейтинг: 0 / 0
03.03.2005, 16:07
    #32944177
1_VV
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Да, это отличная идея,

тем более что все файлы имеют стандартные имена, в которых заложено всё что нужно для запросов (дата, время и т.д.).

Возможно, стоит попробовать держать до миллиона записей (по одной на файл) в mdb. Туда собирать взятые из имени файла параметры и путь к файлу.
А по запросу пользователя временно импортировать нужные файлы в MySQL для обработки?

VV
...
Рейтинг: 0 / 0
03.03.2005, 16:11
    #32944205
Хрен
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Scott TigerСношал я в орал этих продажных аналитиков.

достойный ответ.. жаль без аргументов.
...
Рейтинг: 0 / 0
03.03.2005, 16:11
    #32944206
Alexey Rovdo
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Ну вот и разобрались. А то как напишут - 1 Тб - главное не мелочиться.
...
Рейтинг: 0 / 0
03.03.2005, 16:13
    #32944210
Scott Tiger
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
А зачем такие сложности с индексом файлов и т.д.? Как ты говоришь, имя файла вычисляемо по заданным входным параметрам. Просто это будет СУБД без SQL и заточенная под одну-единственную задачу. Трудозатраты, разумеется, выше, но результат может быть лучше, если всё хорошо сделать. Возможные узкие места - производительность файловой системы на мелких чтениях (заведомо невысокая) и количестве файлов.
...
Рейтинг: 0 / 0
03.03.2005, 16:14
    #32944215
Scott Tiger
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
2Хрен - я без особых аргументов сношал. Они всегда врут в интересах того, кто платит им деньги.
...
Рейтинг: 0 / 0
03.03.2005, 16:16
    #32944228
Хрен
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
2Scott:
"откуда у нее шерстяной костюм?? ты проверял? я тоже - нет. Значит ворованое" (c) Жванецкий
...
Рейтинг: 0 / 0
03.03.2005, 16:33
    #32944316
vadiminfo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
1_VV
Заказчик не планирует затраты на покупку БД дороже VFoxPro.

Но планирует иметь БД на 1Тб? Раз уж у них такие планы в принципе прокататывают, то почему бы им не спланировать вложить в дело 10 баксов и получить 10 лимонов? Зачем париться с какими-то базами?
...
Рейтинг: 0 / 0
04.03.2005, 11:41
    #32945760
AI
AI
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Хрен2Scott:
"откуда у нее шерстяной костюм?? ты проверял? я тоже - нет. Значит ворованое" (c) Жванецкий

Не все, что от Жванецкого - хорошо сказано.
...
Рейтинг: 0 / 0
09.03.2005, 01:04
    #32950299
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
1_VV- Заказчик не планирует затраты на покупку БД дороже VFoxPro.
Для сведения: Personal Oracle, который Вам предложили, в полтора раза дешевле, нежели VFP :)
...
Рейтинг: 0 / 0
09.03.2005, 04:33
    #32950332
mv
mv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Scott TigerСношал я в орал этих продажных аналитиков.

1_VVДа, это отличная идея,

тем более что все файлы имеют стандартные имена, в которых заложено всё что нужно ...

VV
:)
...
Рейтинг: 0 / 0
09.03.2005, 05:40
    #32950338
mv
mv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Alexey RovdoООСУБД Versant Developer Suite .
Можно попробовать FastObjects j7. Скорось будет высочайшей, но вот потянет ли FastObjects базу в 1 Тб, точно сказать не могу.
Основные плюсы обоих систем - прямая интеграция с C++, что позволяет существенно сократить время и упростить разработку приложений. Минусы - некоторые проблемы при необходимости получения сложной аналитики (отчетов) (в особенности это касается FastObjects).

Уважаемый Alexey Rovdo, я с Вашей подачи потратил некоторое время на изучение спецификаций Versant Open Access Suite, не подскажете: нет ли к ним иного API, чем классы Java/C++ (ну, меня конкретно Delphi <-> FastObjects j7 интересует).
Где можно найти спецификации на возможности/ограничения FastObjects j7?
Какие средства навигации по объектному пространства используются?
Какие средства синхронизации локальных (клиентских) объектных пространств есть ли там вообще такое понятие?
Наличие средств поддержки эволюции модели (изменение версии структуры метаданных)/эволюции данных (версии хранимых объектов)?
Имеет ли смысл использование технологии для локальных приложений невысокой сложности (пара десятков классов(со структурой в потора десятка атрибутов)/ассоциаций, несколько десятков тысяч объектов)?
Средства репликации данных?
Средства работы клиентов с большими коллекциями (сотни тысяч объектов и больше)?
Входит ли в состав среды разработки система визуализации (интерактивные компоненты/классы, средства создания отчетов) (я ж с Дельфей - :-))?


И я не нашел прайс - листа...

С уважением - mv
...
Рейтинг: 0 / 0
09.03.2005, 11:41
    #32950855
Licvidator_guest
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
авторИсходя из этого и следуя вашим советам выбираю для теста MySQL.

А MySQL потянет терабайтную БД? Помнится мне, там было ограничение на БД в размере 2 Гб.
...
Рейтинг: 0 / 0
09.03.2005, 12:11
    #32950957
Хрен
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
Потянет. Ограничение было на размер таблицы и то, потому что размер файла ограничен 2 Г на определенных файловх системах.
...
Рейтинг: 0 / 0
09.03.2005, 12:34
    #32951027
Alexey Rovdo
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД для проекта с 1ТБ данных
mv
Уважаемый Alexey Rovdo, я с Вашей подачи потратил некоторое время на изучение спецификаций Versant Open Access Suite, не подскажете: нет ли к ним иного API, чем классы Java/C++ (ну, меня конкретно Delphi <-> FastObjects t7 интересует).
[quot]

Java/C++/C#(и др. IL-совместимые языки).
C Delphi, увы, FO не интегрируется.

[quot mv]
Где можно найти спецификации на возможности/ограничения FastObjects j7?


Самые подробные спецификации по FastObjects находятся на community.fastobjects.com

mv
Какие средства навигации по объектному пространства используются?


Навигация по ссылкам, OQL-запросы, именованные объекты, итераторы.

mv
Какие средства синхронизации локальных (клиентских) объектных пространств есть ли там вообще такое понятие?


Транзакции, блокировка в рамках транзакции объектов, загруженных в кэш клиента, с открытием новой транзакции старые объекты можно автоматически актуализировать текущим содержимым БД (т.е. мы синхронизируем локальные объектные пространства не друг с другом, а с объектным пространством единой БД).

mv
Наличие средств поддержки эволюции модели (изменение версии структуры метаданных)/эволюции данных (версии хранимых объектов)?


Определенные средства есть (эволюция модели, версии объектов). Лучше обратиться к технической документации (стр. ~137) продукта для детального ознакомления с ними. От себя только добавлю, что в VDS таких средств больше, а их возможности шире.

mv
Имеет ли смысл использование технологии для локальных приложений невысокой сложности (пара десятков классов(со структурой в потора десятка атрибутов)/ассоциаций, несколько десятков тысяч объектов)?


Да, имеет. Основные преимущества - быстрая разработка. Основной недостаток - цена. Т.е. имеет смысл, если вы разрабатываете много таких приложений, готовите тиражируемый продукт со встроенной БД (FastObjects очень хорошо приспособлен для встраивания в приложения) или вам по вкусу именно ОО-подход, а SQL вы просто не любите.

mv
Средства репликации данных?


Синхронная и асинхронная репликация, кластеризация, master/slave-репликация.

mv
Средства работы клиентов с большими коллекциями (сотни тысяч объектов и больше)?


Об особенностях обработки коллекций лучше всего почитать здесь (C++) и здесь (Java).

mv
Входит ли в состав среды разработки система визуализации (интерактивные компоненты/классы, средства создания отчетов) (я ж с Дельфей - :-))?


Да входит (разработка структуры классов). Кроме этого FastObjects интегрируется с различными IDE (увы не с Дельфями).
Для C++: MS VS, C++-компиляторы под Linux, Unix.
Для Java: Borland JBuilder, Sun One Studio, Eclipse (IBM WAD ... ), Forte
Для C# и др. .NET языков: MS VS .NET.

Подробнее см. здесь .

Для построения отчетов можно использовать типовые сторонние средства, осуществляя доступ к БД FastObjects через ODBC (FastObjects Connect) или объектно-ориентированный генератор отчетов Qint (см. www.qint.de ).

mv
И я не нашел прайс - листа...


Официальные цены для России здесь . Разумеется, это максимальные значения. Есть много способов их снизить и притом значительно.

С уважением, Алексей Ровдо.
...
Рейтинг: 0 / 0
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД для проекта с 1ТБ данных / 25 сообщений из 29, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]