Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Добрый день! Посоветуйте, пожалуйста, какую БД выбрать для такого проекта: - есть сотни гигабайт цифровых данных (короткие floats), расположенных в огромном количестве маленьких (порядка 1 кб) двоичных файлах. - пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра). - результат выборки нужно представить в обозримом виде. - пользовательский интерфейс должен быть написан на VC++, платформа Windows XP - нет нужды в сетях, интернете, многопользовательских делах. Спасибо! VV ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 10:54 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
автор- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра). Из них - это из двоичных данных? Или данные для выборки лежат отдельно от двоичных? -- Tygra's -- ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 11:09 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
1_VVДобрый день! Посоветуйте, пожалуйста, какую БД выбрать для такого проекта: - есть сотни гигабайт цифровых данных (короткие floats), расположенных в огромном количестве маленьких (порядка 1 кб) двоичных файлах. - пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра). - результат выборки нужно представить в обозримом виде. - пользовательский интерфейс должен быть написан на VC++, платформа Windows XP - нет нужды в сетях, интернете, многопользовательских делах. Спасибо! VV Ну, вообще по скорости выполнения запросов вроде как MySQL самая быстрая. А так, все конечно зависит от конкретных нужд и возможностей, то есть по сути тут любая БД подойдет (Oracle, MSSQL, DB2 и т.д.) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 11:23 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
ООСУБД Versant Developer Suite . Можно попробовать FastObjects j7. Скорось будет высочайшей, но вот потянет ли FastObjects базу в 1 Тб, точно сказать не могу. Основные плюсы обоих систем - прямая интеграция с C++, что позволяет существенно сократить время и упростить разработку приложений. Минусы - некоторые проблемы при необходимости получения сложной аналитики (отчетов) (в особенности это касается FastObjects). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 11:23 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
1_VV - есть сотни гигабайт цифровых данных (короткие floats), расположенных в огромном количестве маленьких (порядка 1 кб) двоичных файлах. - пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра). Ну у Оракла, например, можно организоваить комбинрованное секционирование (партицирование как здесь иногда говорят) по диапазону и Хеш по параметру. Тогда за счет пропуска ненужных секций он будет искать при выполнении подобных запросов не в сотнях мегобайт а в 1 или 0.5 Гб. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 12:57 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Oracle Database 10g Personal Edition ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 14:21 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Dear Gentlemen. большое спасибо за отличные советы! - Все файлы имеют одинаковую структуру (360 полей Х от 300 до 3000 записей из урезанных 2-х байтовых floats). - Количество возможных вариантов запросов очень мало (порядка 10). - Нет нужды в real-time. - Заказчик не планирует затраты на покупку БД дороже VFoxPro. Исходя из этого и следуя вашим советам выбираю для теста MySQL. VV ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 14:49 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
хорошо что хоть кластер не успели предложить :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 15:28 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Возможно, имеет смысл написать свою прикладу, которая будет напрямую работать с файлами, дабы не грузить их постоянно в БД. С MySQL и т.п. могут быть проблемы в эксплуатации, обусловленные невысоким качеством таких продуктов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 15:42 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Специально для Scott Tiger: "Coverity's analysis of MySQL found an average of one bug in every 4,000 lines of code--results that are at least four times better than is typical with commercial software." - вот ссылка ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 16:01 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Сношал я в орал этих продажных аналитиков. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 16:03 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Да, это отличная идея, тем более что все файлы имеют стандартные имена, в которых заложено всё что нужно для запросов (дата, время и т.д.). Возможно, стоит попробовать держать до миллиона записей (по одной на файл) в mdb. Туда собирать взятые из имени файла параметры и путь к файлу. А по запросу пользователя временно импортировать нужные файлы в MySQL для обработки? VV ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 16:07 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Scott TigerСношал я в орал этих продажных аналитиков. достойный ответ.. жаль без аргументов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 16:11 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Ну вот и разобрались. А то как напишут - 1 Тб - главное не мелочиться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 16:11 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
А зачем такие сложности с индексом файлов и т.д.? Как ты говоришь, имя файла вычисляемо по заданным входным параметрам. Просто это будет СУБД без SQL и заточенная под одну-единственную задачу. Трудозатраты, разумеется, выше, но результат может быть лучше, если всё хорошо сделать. Возможные узкие места - производительность файловой системы на мелких чтениях (заведомо невысокая) и количестве файлов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 16:13 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
2Хрен - я без особых аргументов сношал. Они всегда врут в интересах того, кто платит им деньги. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 16:14 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
2Scott: "откуда у нее шерстяной костюм?? ты проверял? я тоже - нет. Значит ворованое" (c) Жванецкий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 16:16 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
1_VV Заказчик не планирует затраты на покупку БД дороже VFoxPro. Но планирует иметь БД на 1Тб? Раз уж у них такие планы в принципе прокататывают, то почему бы им не спланировать вложить в дело 10 баксов и получить 10 лимонов? Зачем париться с какими-то базами? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2005, 16:33 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Хрен2Scott: "откуда у нее шерстяной костюм?? ты проверял? я тоже - нет. Значит ворованое" (c) Жванецкий Не все, что от Жванецкого - хорошо сказано. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.03.2005, 11:41 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
1_VV- Заказчик не планирует затраты на покупку БД дороже VFoxPro. Для сведения: Personal Oracle, который Вам предложили, в полтора раза дешевле, нежели VFP :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.03.2005, 01:04 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Scott TigerСношал я в орал этих продажных аналитиков. 1_VVДа, это отличная идея, тем более что все файлы имеют стандартные имена, в которых заложено всё что нужно ... VV :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.03.2005, 04:33 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Alexey RovdoООСУБД Versant Developer Suite . Можно попробовать FastObjects j7. Скорось будет высочайшей, но вот потянет ли FastObjects базу в 1 Тб, точно сказать не могу. Основные плюсы обоих систем - прямая интеграция с C++, что позволяет существенно сократить время и упростить разработку приложений. Минусы - некоторые проблемы при необходимости получения сложной аналитики (отчетов) (в особенности это касается FastObjects). Уважаемый Alexey Rovdo, я с Вашей подачи потратил некоторое время на изучение спецификаций Versant Open Access Suite, не подскажете: нет ли к ним иного API, чем классы Java/C++ (ну, меня конкретно Delphi <-> FastObjects j7 интересует). Где можно найти спецификации на возможности/ограничения FastObjects j7? Какие средства навигации по объектному пространства используются? Какие средства синхронизации локальных (клиентских) объектных пространств есть ли там вообще такое понятие? Наличие средств поддержки эволюции модели (изменение версии структуры метаданных)/эволюции данных (версии хранимых объектов)? Имеет ли смысл использование технологии для локальных приложений невысокой сложности (пара десятков классов(со структурой в потора десятка атрибутов)/ассоциаций, несколько десятков тысяч объектов)? Средства репликации данных? Средства работы клиентов с большими коллекциями (сотни тысяч объектов и больше)? Входит ли в состав среды разработки система визуализации (интерактивные компоненты/классы, средства создания отчетов) (я ж с Дельфей - :-))? И я не нашел прайс - листа... С уважением - mv ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.03.2005, 05:40 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
авторИсходя из этого и следуя вашим советам выбираю для теста MySQL. А MySQL потянет терабайтную БД? Помнится мне, там было ограничение на БД в размере 2 Гб. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.03.2005, 11:41 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
Потянет. Ограничение было на размер таблицы и то, потому что размер файла ограничен 2 Г на определенных файловх системах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.03.2005, 12:11 |
|
||
|
Выбор БД для проекта с 1ТБ данных
|
|||
|---|---|---|---|
|
#18+
mv Уважаемый Alexey Rovdo, я с Вашей подачи потратил некоторое время на изучение спецификаций Versant Open Access Suite, не подскажете: нет ли к ним иного API, чем классы Java/C++ (ну, меня конкретно Delphi <-> FastObjects t7 интересует). [quot] Java/C++/C#(и др. IL-совместимые языки). C Delphi, увы, FO не интегрируется. [quot mv] Где можно найти спецификации на возможности/ограничения FastObjects j7? Самые подробные спецификации по FastObjects находятся на community.fastobjects.com mv Какие средства навигации по объектному пространства используются? Навигация по ссылкам, OQL-запросы, именованные объекты, итераторы. mv Какие средства синхронизации локальных (клиентских) объектных пространств есть ли там вообще такое понятие? Транзакции, блокировка в рамках транзакции объектов, загруженных в кэш клиента, с открытием новой транзакции старые объекты можно автоматически актуализировать текущим содержимым БД (т.е. мы синхронизируем локальные объектные пространства не друг с другом, а с объектным пространством единой БД). mv Наличие средств поддержки эволюции модели (изменение версии структуры метаданных)/эволюции данных (версии хранимых объектов)? Определенные средства есть (эволюция модели, версии объектов). Лучше обратиться к технической документации (стр. ~137) продукта для детального ознакомления с ними. От себя только добавлю, что в VDS таких средств больше, а их возможности шире. mv Имеет ли смысл использование технологии для локальных приложений невысокой сложности (пара десятков классов(со структурой в потора десятка атрибутов)/ассоциаций, несколько десятков тысяч объектов)? Да, имеет. Основные преимущества - быстрая разработка. Основной недостаток - цена. Т.е. имеет смысл, если вы разрабатываете много таких приложений, готовите тиражируемый продукт со встроенной БД (FastObjects очень хорошо приспособлен для встраивания в приложения) или вам по вкусу именно ОО-подход, а SQL вы просто не любите. mv Средства репликации данных? Синхронная и асинхронная репликация, кластеризация, master/slave-репликация. mv Средства работы клиентов с большими коллекциями (сотни тысяч объектов и больше)? Об особенностях обработки коллекций лучше всего почитать здесь (C++) и здесь (Java). mv Входит ли в состав среды разработки система визуализации (интерактивные компоненты/классы, средства создания отчетов) (я ж с Дельфей - :-))? Да входит (разработка структуры классов). Кроме этого FastObjects интегрируется с различными IDE (увы не с Дельфями). Для C++: MS VS, C++-компиляторы под Linux, Unix. Для Java: Borland JBuilder, Sun One Studio, Eclipse (IBM WAD ... ), Forte Для C# и др. .NET языков: MS VS .NET. Подробнее см. здесь . Для построения отчетов можно использовать типовые сторонние средства, осуществляя доступ к БД FastObjects через ODBC (FastObjects Connect) или объектно-ориентированный генератор отчетов Qint (см. www.qint.de ). mv И я не нашел прайс - листа... Официальные цены для России здесь . Разумеется, это максимальные значения. Есть много способов их снизить и притом значительно. С уважением, Алексей Ровдо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.03.2005, 12:34 |
|
||
|
|

start [/forum/topic.php?fid=35&startmsg=32943047&tid=1553919]: |
0ms |
get settings: |
10ms |
get forum list: |
18ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
39ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
66ms |
get tp. blocked users: |
1ms |
| others: | 189ms |
| total: | 342ms |

| 0 / 0 |
