ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД для личного пользования с большими объемами...
25 сообщений из 137, страница 1 из 6
  1  все
Выбор БД для личного пользования с большими объемами...
    #38198286
egorkkk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
egorkkk
Гость
Здравствуйте уважаемые участники форума!

Прошу помочь с выбором базы данных.

Есть необходимость заводить в базу большое количество однотипных данных для последующего анализа. С данной базой буду работать я один, локально. Первое время (год) она будет стоять на обычном компьютере (windows xp). Жестких требований к скорости исполнения запросов нет.

Будет одна основная таблица примерного вида: int, int, int, vchar(16), int, int, int.
В день будет поступать в среднем 200000-500000 строк.
Анализ будет состоять из средних по сложности запросов объемом до "месяц"-"год" в рамках одной таблицы.

Мои пожелания/требования к БД:

- Хотелось бы, что бы база нормально тянула большие объемы (~150 000 000 строк в одной таблице) и при этом более менее шустро исполняла запросы с подобным объемом.
- Возможность жать базу (т.к. дисковые пространства ограничены по определенным причинам), но не критично все же.
- Надежность базы (винда повисла, электричество отключили... этот пункт очень важен, т.к. данные повторно не получить), backup не отменяется, естественно.
- Было бы здорово иметь встроенную систему отчетности (по таймеру исполнение запросов и складирование результатов), но как я понимаю, это просто реализовать и так?!
- Т.к. компьютер рабочий - хотелось бы, что бы база не съедала все ресурсы, т.е. ограничение памяти ~ 512мб.
- Бесплатность
- Кросплатформенность


Прошу вас высказать ваше мнение, на какой БД остановиться, стоит обратить внимание (а выбор не богат :)).
Быть может будут советы по настройкам, с удовольствием выслушаю.
Заранее спасибо!!!
...
Рейтинг: 0 / 0
26.03.2013, 10:34
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38198399
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
Если убрать требования кроссплатформенности, то подойдет MS SQL 2012 Express Edition with Advanced Services.

автор- Т.к. компьютер рабочий - хотелось бы, что бы база не съедала все ресурсы, т.е. ограничение памяти ~ 512мб.

Урежете память - получите жуткую дисковую активность. Оно Вам надо?

авторНадежность базы (винда повисла, электричество отключили... этот пункт очень важен

Бесперебойник + данные на аппаратном хотя бы RAID-1.
...
Рейтинг: 0 / 0
26.03.2013, 11:54
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38198454
egorkkk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
egorkkk
Гость
pkarklinЕсли убрать требования кроссплатформенности, то подойдет MS SQL 2012 Express Edition with Advanced Services.

автор- Т.к. компьютер рабочий - хотелось бы, что бы база не съедала все ресурсы, т.е. ограничение памяти ~ 512мб.

Урежете память - получите жуткую дисковую активность. Оно Вам надо?

авторНадежность базы (винда повисла, электричество отключили... этот пункт очень важен

Бесперебойник + данные на аппаратном хотя бы RAID-1.

Боюсь упереться в ограничение 10гб да и слишком он перегруженный по мне + в будущем все же возможен переход на сервачек с *nix.

Данные важны, но все же на первых этапах вкладываться я не буду, хочу ограничиться ежедневными backup'ами и надежностью самой БД :)

Спасибо за проявленное внимание.
...
Рейтинг: 0 / 0
26.03.2013, 12:35
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38198475
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
egorkkkБоюсь упереться в ограничение 10гб

Это ограничение на размер одной бд, которых на одном инстансе м.б. 32 767.
...
Рейтинг: 0 / 0
26.03.2013, 12:48
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38198496
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
egorkkkхочу ограничиться ежедневными backup'ами и надежностью самой БД :)

Firebird (а точнее ещё Interbase) разрабатывалась специально для таких условий. Главное не
быть ССЗБ и не отключать кэш на запись.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
26.03.2013, 12:57
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38198778
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
Dimitry SibiryakovГлавное не быть ССЗБ и не отключать кэш на запись.
Именно не отключать?
...
Рейтинг: 0 / 0
26.03.2013, 15:10
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38198797
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
egorkkkПрошу вас высказать ваше мнение, на какой БД остановиться, стоит обратить внимание
База получается достаточно солидного размера. Если сложить это с моими кривыми руками, я бы не рисковал брать инструменты "попроще" и искал бы из большой тройки. Шустрота запросов... при скромной памяти, загруженном процессоре и необходимости ворошить по пол-базы вслепую её никто обещать не сможет. Что касается ресурсов... я бы не советовал жёстко ограничивать базу, скорее имеет смысл поднимать-опускать сервер или просто поставить его на виртуалку.

Надёжность..... ну не знаю. У меня на домашнем с ораклом за кучу лет не было ни одной проблемы при том, что комп периодически выключался кнопкой питания. А кто-то и с бесперебойником уронить ухитряется ))
...
Рейтинг: 0 / 0
26.03.2013, 15:18
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38198830
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
softwarerИменно не отключать?
У-упс... Рефлекс. Конечно же не включать. Когда писал думал о "не отключать forced
writes", но автору это ни о чём не говорило бы.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
26.03.2013, 15:30
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38198875
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
Память ныне стоит копейки. Вообще, теперь можно собирать компьютеры с невообразимыми совсем недавно характеристиками по смешным ценам. 32 гига ОЗУ за менее чем 7тр, 8 ядер за 6 тр, материнская плата за 2-3тр, SSD и те подешевели. На более дорогой, но по-прежнему настольной платформе - 2011 - можно 64 гига ОЗУ навставлять. И вообще базу лучше на отдельном компьютере держать, иначе это будет пытка.
...
Рейтинг: 0 / 0
26.03.2013, 15:53
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38198950
egorkkk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
egorkkk
Гость
softwareregorkkkПрошу вас высказать ваше мнение, на какой БД остановиться, стоит обратить внимание
База получается достаточно солидного размера. Если сложить это с моими кривыми руками, я бы не рисковал брать инструменты "попроще" и искал бы из большой тройки. Шустрота запросов... при скромной памяти, загруженном процессоре и необходимости ворошить по пол-базы вслепую её никто обещать не сможет. Что касается ресурсов... я бы не советовал жёстко ограничивать базу, скорее имеет смысл поднимать-опускать сервер или просто поставить его на виртуалку.

Надёжность..... ну не знаю. У меня на домашнем с ораклом за кучу лет не было ни одной проблемы при том, что комп периодически выключался кнопкой питания. А кто-то и с бесперебойником уронить ухитряется ))

По поводу "шустрости" - это конечно относительно :)

А что относится к большой тройке?

Вообще изначально присматривался к postgresql, в том числе по причине поддержки большого кол-ва поддерживаемых языков для написания внутренней логики (триггеры и пр) и скорее тут момент какой-то симпатии...
...
Рейтинг: 0 / 0
26.03.2013, 16:32
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38198963
egorkkk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
egorkkk
Гость
Victor MetelitsaПамять ныне стоит копейки. Вообще, теперь можно собирать компьютеры с невообразимыми совсем недавно характеристиками по смешным ценам. 32 гига ОЗУ за менее чем 7тр, 8 ядер за 6 тр, материнская плата за 2-3тр, SSD и те подешевели. На более дорогой, но по-прежнему настольной платформе - 2011 - можно 64 гига ОЗУ навставлять. И вообще базу лучше на отдельном компьютере держать, иначе это будет пытка.

Это конечно же так, но все же на данный момент вкладывать средства считаю не рациональным. Буду терпеть или как было сказано выше - поднимать по необходимости.
...
Рейтинг: 0 / 0
26.03.2013, 16:36
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38199065
Ы
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ы
Гость
egorkkk,

PostgreSQL вполне потянет ваши объемы, разве что лучше сразу же ее ставить на Linux или *BSD. У меня была таблица похожей на вашу структуры на ~420 млн. записей, простые запросы к ней выполнялись за вполне приемлемое для веб время.
...
Рейтинг: 0 / 0
26.03.2013, 17:14
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38199502
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
softwarerБаза получается достаточно солидного размера.
где?
в среднем 350к записей в день, запись где-то 42 байта, это выходит 14мб в день, 420мб в месяц, или 5 гиг в год.
Допустим, запись в 2 раза больше (или больше, или так хранится), выходит 10 гиг. Даже если все столбцы проиндексировать, выйдет ну еще +5 гиг. И того - 15 гиг в год.
Не вижу "солидных размеров".
...
Рейтинг: 0 / 0
26.03.2013, 22:34
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38199872
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
Найти одну запись среди 120 миллионов или просуммировать/прогруппировать 12 миллионов из 120 - мягко говоря, не совсем одно и то же по сложности/времени выполнения. Железо, должно быть, весьма слабое. Что-то, возможно, забыто (я в таких задачах привык видеть колонку с датовременем).
...
Рейтинг: 0 / 0
27.03.2013, 08:25
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38200212
Alexey Kuznetsov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Kuznetsov
Участник
egorkkk,

DB2 Express-C - лучше чем аналог от MS, тем что нет лимита на размер БД и поддерживается еще и линукс.
...
Рейтинг: 0 / 0
27.03.2013, 12:05
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38200288
egorkkk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
egorkkk
Гость
Решил все же остановиться на MS SQL 2012 Express Edition with Advanced Services, хотя бы на первое время.

Victor MetelitsaНайти одну запись среди 120 миллионов или просуммировать/прогруппировать 12 миллионов из 120 - мягко говоря, не совсем одно и то же по сложности/времени выполнения. Железо, должно быть, весьма слабое. Что-то, возможно, забыто (я в таких задачах привык видеть колонку с датовременем).

датовремя я думал сделать в формате int (unix-time), хотя сейчас уже не уверен в эффективности данного подхода.

В принципе, выбор сделан, всем большое спасибо за ваше внимание!

Если у кого есть что добавить, по любому поводу, с радостью выслушаю!
...
Рейтинг: 0 / 0
27.03.2013, 12:40
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38200324
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
egorkkkдатовремя я думал сделать в формате int (unix-time), хотя сейчас уже не уверен в эффективности данного подхода.

А с какой точностью Вам необходимо хранить дату\время?
...
Рейтинг: 0 / 0
27.03.2013, 12:54
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38200387
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SergSuper
Участник
egorkkkдатовремя я думал сделать в формате int (unix-time), хотя сейчас уже не уверен в эффективности данного подхода.а Вы думаете сам сервер ее строкой хранит?
...
Рейтинг: 0 / 0
27.03.2013, 13:26
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38200396
egorkkk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
egorkkk
Гость
pkarklinegorkkkдатовремя я думал сделать в формате int (unix-time), хотя сейчас уже не уверен в эффективности данного подхода.

А с какой точностью Вам необходимо хранить дату\время?

С точностью до милисекунд, начиная с годов соответственно.
Сейчас посмотрел, в mssql datatime хранит все, включая ms, и весит всего 8 байт, о таком и мечтать не мог.
unix-time отпадает.
...
Рейтинг: 0 / 0
27.03.2013, 13:30
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38200423
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
egorkkkС точностью до милисекунд, начиная с годов соответственно.
Сейчас посмотрел, в mssql datatime хранит все, включая ms, и весит всего 8 байт, о таком и мечтать не мог.

Следует быть внимательней:

BOL->datetime
...
datetime values are rounded to increments of .000, .003, or .007 seconds

Если нужна точность до единиц миллисекунд то Вам будет нужен datetime2(3) и это будет 7ть байт.
...
Рейтинг: 0 / 0
27.03.2013, 13:44
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38239763
NikolayV81
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NikolayV81
Участник
egorkkkРешил все же остановиться на MS SQL 2012 Express Edition with Advanced Services, хотя бы на первое время.


Зря вы на MS завязываетесь, в приложении наверняка появится желание хранить доп. информацию, потом агрегаты и т.д., и в итоге вы попадёте на предел установленный для бесплатного сервера, для ваших нужд действительно подойдёт firebird, его сервер практически не потребляет памяти в неактивном режиме, отключение кэширования защищает от зависаний софта ( XP ), миграция между nix-win-nix - backup-restore ( если udf-ки сочинять не будете ).

кстати а express у микрософт можно использовать для рабочих программ ( с целью получения прибыли )?

+ у firebird есть IBEXPERT до которого ИМХО даже оракловым клиентам далеко...
...
Рейтинг: 0 / 0
25.04.2013, 12:19
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38239768
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
NikolayV81+ у firebird есть IBEXPERT до которого ИМХО даже оракловым клиентам далеко...
Очень ИМХО :)
...
Рейтинг: 0 / 0
25.04.2013, 12:22
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38239860
sphinx_mv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sphinx_mv
Участник
NikolayV81egorkkkРешил все же остановиться на MS SQL 2012 Express Edition with Advanced Services, хотя бы на первое время.

Зря вы на MS завязываетесь, в приложении наверняка появится желание хранить доп. информацию, потом агрегаты и т.д., и в итоге вы попадёте на предел установленный для бесплатного сервера,Ага...
Вот только имеющееся ограничение - "всего" по 10GB на базу (коих на одном сервере может быть сильно больше одной). Такое даже не всякое предприятие нагенерит за "первое время"...
Не говоря уже про полную совместимость со всем МСовским софтом...
NikolayV81 для ваших нужд действительно подойдёт firebird, его сервер практически не потребляет памяти в неактивном режиме, отключение кэширования защищает от зависаний софта ( XP ), миграция между nix-win-nix - backup-restore ( если udf-ки сочинять не будете ).
"Кроссплатформенного софта не существует! В природе!" (с) - распечатать большими буквами, прибить на стену над монитором, выдавать (на входе) всем "приходящим" внедряльщикам-продавальщикам...
Любое утверждение об обратном - "маркетинговые сказки"...

И уж точно про "все замечательно" в firebird тоже (как-нибудь) не стОит - каждый сервер имеет достаточное количество своих индивидуальных плюсов и минусов. И firebird тому ни разу не исключение...
NikolayV81кстати а express у микрософт можно использовать для рабочих программ ( с целью получения прибыли )?Нет в нем таких ограничений.
NikolayV81+ у firebird есть IBEXPERT до которого ИМХО даже оракловым клиентам далеко...Улыбнуло...
Ну, а сколько же "оракловых клиентов" Вы знаете? Хотя бы пару-тройку штук наберется? Чтобы было что сравнивать c ibexpert'ом?
Кстати... ibexpert - он точно "аж целый один"?! Ну, тогда, это, "ой, как все сурово"...
...
Рейтинг: 0 / 0
25.04.2013, 13:13
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38239940
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
sphinx_mvНу, а сколько же "оракловых клиентов" Вы знаете? Хотя бы пару-тройку штук наберется? Чтобы было что сравнивать c ibexpert'ом?
Кстати... ibexpert - он точно "аж целый один"?! Ну, тогда, это, "ой, как все сурово"...
ржать не надо, т.к. вы его не видели. Может случиться диссонанс. IExpert - не один. Для IB/FB подобных сред для разработчиков штук 10-15, наиболее популярных - где-то 4-5.
...
Рейтинг: 0 / 0
25.04.2013, 13:58
| Ответить | Цитировать | Написать  
Выбор БД для личного пользования с большими объемами...
    #38240013
sphinx_mv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sphinx_mv
Участник
kdvsphinx_mvНу, а сколько же "оракловых клиентов" Вы знаете? Хотя бы пару-тройку штук наберется? Чтобы было что сравнивать c ibexpert'ом?
Кстати... ibexpert - он точно "аж целый один"?! Ну, тогда, это, "ой, как все сурово"...
ржать не надо, т.к. вы его не видели.Ржать, таки, надо - потому как вменяемого ответа по поводу "количества клиентов" оракла (пока?) так и не последовало...

И, кстати, переустановите систему на хрустальном шаре - глючит немеряно...
Соответственно, не Вам судить, с какими "поделиями", выдаваемые за "крутой софт" мне в этой жизни прилось столкнуться - и не только видеть, но даже и пользоваться... Я, конечно, допускаю, что за время, которое прошло с тех пор (относительно ibexpert'а) что-то (теоретически) могло измениться, но уж софтом "всех времен и народов" он за это время точно не стал. Как, в-прочем, и сам firebird...
kdvМожет случиться диссонанс.Судя по всему, у Вас он уже случился. Очевидно, от "немеряной крутизны" используемых продуктов...
kdvIExpert - не один. Для IB/FB подобных сред для разработчиков штук 10-15, наиболее популярных - где-то 4-5. "Вау-эффект" не достигнут - даже близко не стояло... Потому как под оракл таких приложений точно ничуть не меньше.
И нет практической необходимости особо подчеркивать, что со всеми (чтобы адекватно сравнивать) оппонент не то, чтобы "не пробовал", но и название ему окажется не особо знакомым...
...
Рейтинг: 0 / 0
25.04.2013, 14:37
| Ответить | Цитировать | Написать  
25 сообщений из 137, страница 1 из 6
  1  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД для личного пользования с большими объемами...
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=38200423&tid=1552438]:
 0ms
get settings:
 11ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 42ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 58ms
get tp. blocked users:
 1ms
others: 243ms
total:  390ms
созд. / загр.: 390ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]