ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / выбор БД для хранения 8Tb данных
25 сообщений из 80, страница 3 из 4
  3  все
выбор БД для хранения 8Tb данных
    #37358200
AlexKB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlexKB
Участник
Pavel2001,
Пишется не в таблицу а в глобалы (штук 20), в разные ветви, из них же и удаляется.
Записи элементарные, длины переменные, сразу скажу записей длиной 1кБ и более мало, но есть.
Используется режим прямого доступа к данным, типа: set ^Glob(Day,Time,Number)="сами данные через разделители полей". Если необходимо удалить группу записей за весь день то используется конструкция вида kill ^Glob(Day). Понятно, что процессы записи и удаления в обсуждаемом случае должны быть разделены.
Я не говорю, что только так нужно делать, я говорю, что для высоконагруженных систем архивации все таки стоит смотреть в сторону нереляционных движков.
...
Рейтинг: 0 / 0
19.07.2011, 17:35
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37358289
Alexey K.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey K.
Гость
сегодня еще узнал одну маленькую деталь.

база должна быть халявной...
...
Рейтинг: 0 / 0
19.07.2011, 18:30
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37358309
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
Alexey K.база должна быть халявной...тогда все-таки файловая система.
Каждую секунду/минуту новый файл. Старые удалять.
Файлы доступны по http (apache) и гугл с яндексом в качестве индексатора.
Запросы все в гугл.
...
Рейтинг: 0 / 0
19.07.2011, 18:47
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37358313
NetObserver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NetObserver
Участник
Alexey K.база должна быть халявной...


Alexey K.железо, предроложительно, ibm blade + какой-то дисковый массив

Какие-то у Вас требования взаимо исключающие :)
Либо есть бабло на проект, либо на коленке...
...
Рейтинг: 0 / 0
19.07.2011, 18:51
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37358322
Alexey K.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey K.
Гость
-2-,

гениально

NetObserverAlexey K.железо, предроложительно , ibm blade + какой-то дисковый массив

Какие-то у Вас требования взаимо исключающие :)
Либо есть бабло на проект, либо на коленке...
ну просто у нас тут мода такая пошла на blad-ы :)
когда я подключился к проекту, там была монго и шесть машин с 32гига на борту.

наконец-то я дождался теста на файловую систему:
возможно не все потеряно. так сказать для первой версии базы.

mount -t xfs -o noatime,nodiratime,nobarrier,logbufs=8 /dev/sdb2 data
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
Creator
5000000 records will be processed
Destination dir: /home/alex/data
number len: 10
sub len: 3
0%....|....10%....|....20%....|....30%....|....40%....|....50%....|....60%....|....70%....|....80%....|....90%....|....100%
total 32160754 ms
average 0.155 rec/ms
success 99.947%
  250000 #################################################  6.887ms/rec
  500000 ################################################## 6.906ms/rec
  750000 #################################################  6.860ms/rec
 1000000 ###############################################    6.598ms/rec
 1250000 ###############################################    6.505ms/rec
 1500000 ##############################################     6.365ms/rec
 1750000 ##############################################     6.411ms/rec
 2000000 #############################################      6.270ms/rec
 2250000 #############################################      6.304ms/rec
 2500000 #############################################      6.308ms/rec
 2750000 #############################################      6.287ms/rec
 3000000 #############################################      6.268ms/rec
 3250000 ##############################################     6.359ms/rec
 3500000 #############################################      6.255ms/rec
 3750000 #############################################      6.241ms/rec
 4000000 #############################################      6.259ms/rec
 4250000 #############################################      6.314ms/rec
 4500000 #############################################      6.337ms/rec
 4750000 ##############################################     6.391ms/rec
 5000000 ###############################################    6.520ms/rec

Finder
5000000 records will be processed
Destination dir: /home/alex/data
number len: 10
sub len: 3
0%....|....10%....|....20%....|....30%....|....40%....|....50%....|....60%....|....70%....|....80%....|....90%....|....100%
total 22401 ms
average 223.204 rec/ms
success 100.000%
  250000 #################################################  0.005ms/rec
  500000 ################################################## 0.005ms/rec
  750000 #################################################  0.005ms/rec
 1000000 ################################################   0.005ms/rec
 1250000 ###############################################    0.005ms/rec
 1500000 ###############################################    0.005ms/rec
 1750000 ###############################################    0.005ms/rec
 2000000 ##############################################     0.005ms/rec
 2250000 #############################################      0.005ms/rec
 2500000 #############################################      0.005ms/rec
 2750000 #############################################      0.005ms/rec
 3000000 ############################################       0.004ms/rec
 3250000 ###########################################        0.004ms/rec
 3500000 ###########################################        0.004ms/rec
 3750000 ##########################################         0.004ms/rec
 4000000 ##########################################         0.004ms/rec
 4250000 #########################################          0.004ms/rec
 4500000 ########################################           0.004ms/rec
 4750000 #######################################            0.004ms/rec
 5000000 #######################################            0.004ms/rec
...
Рейтинг: 0 / 0
19.07.2011, 19:00
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37358352
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Alexey K.,

Судя по величине в 6-7 мс при создании файлов, могу предположить, что дисковый контроллер без BBU и/или с выключенным кэшем на запись. Если это изменить, то это время может быть заметно улучшено.

По какой системе на каталоги били?
...
Рейтинг: 0 / 0
19.07.2011, 19:28
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37358363
Alexey K.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey K.
Гость
miksoft,

это самый обычный sata диск без каких бы то нибыла настроек. ос debian 64 на виртуальной машине. хост не знаю. может blade.
по причине мелкого диска данных там нет, только пустые директории.
создаю дерево вида:
/home/alex/data/123/456/789/0
/home/alex/data/546/753/285/7
и тд.
потом проверяю наличие этой директории (как бы чтение).

реального хранилища нет. и неизвестно когда будет и будет ли вообще.
...
Рейтинг: 0 / 0
19.07.2011, 19:42
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37358398
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Alexey K.,

А смысл тогда от такого теста?
Или вы собираетесь боевую базу на одиночном sata-диске запускать? Таких, кстати, требуемого объема не существует.

Для файловой системы учтите еще такой момент - в большинстве файловых систем место под файл выделяется достаточно крупными блоками (кластерами) размером в единицы или десятки килобайт. Таким образом реально занятое место может быть в разы больше суммарного размера файлов. Проверьте этот момент для вашей файловой системы.
...
Рейтинг: 0 / 0
19.07.2011, 20:24
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37358494
Yuri Pudovchenko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yuri Pudovchenko
Гость
Alexey K.приветствую!

подстакажите пожалуйста, какой движок способен справится с такой задачей:
одна таблица.
перманентное количество записей в базе ~8 миллиардов.
одна запись: string, datetime, blob (1024b). возможно добавится еще пара полей.
~85 миллионов инсертов и делитов в день.

необходимо осуществить поиск по первому и второму полю.

желаемый фидбэк <= 1cек

железо, предроложительно, ibm blade + какой-то дисковый массив (пока ничего не известно).

что можете порекомендовать ?

спасибо!

Алексей,

Есть такая ссылочка:
http://www.exastack.ru/portal/page?_pageid=113,263175&_dad=portal&_schema=PORTAL

Если у тебя есть готовое приложение, то можешь принести его и потестировать его на Экзадате.
Плюсы:
- это интересно
- это полезно персонально для тебя (практический опыт работы на Экзадате - это плюс в резюме)
- это бесплатно (еще и кофеем напоим)
- квалифицированные специалисты подумают как твое приложение улучшить и дадут полезные советы. это тоже бесплатно.
- это даст точку отсчета, с которой можно сравнивать другие платформы.

Удачи !
...
Рейтинг: 0 / 0
19.07.2011, 22:58
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37358578
Alexey K.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey K.
Гость
Yuri Pudovchenko,

спасибо за приглашение, но лететь к вам далеко.
...
Рейтинг: 0 / 0
20.07.2011, 00:47
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37358579
Alexey K.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey K.
Гость
miksoftА смысл тогда от такого теста?
даже создание пустых директорий занимает, как оказалось, достаточно приличное время.
...
Рейтинг: 0 / 0
20.07.2011, 00:48
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37358592
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Alexey K.miksoftА смысл тогда от такого теста?
даже создание пустых директорий занимает, как оказалось, достаточно приличное время.Сильно подозреваю, что реально это время тратится не на создание директорий как таковых, а на перемещение головок диска и ожидание нужного сектора на диске, по времени очень похоже. Если оно действительно так, то оно будет резко улучшено применением дискового контроллера с кэшем на запись и BBU.
...
Рейтинг: 0 / 0
20.07.2011, 01:12
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37359085
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
-2-Alexey K.база должна быть халявной...тогда все-таки файловая система.
Каждую секунду/минуту новый файл. Старые удалять.
Файлы доступны по http (apache) и гугл с яндексом в качестве индексатора.
Запросы все в гугл.


Хм. И как для файловой системы решать задачи бэкапирования и HA?
Эта задача будет и посложней, нежели заставить Postgress работать с достаточной производительностью.
...
Рейтинг: 0 / 0
20.07.2011, 11:50
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37359094
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
Alexey K.сегодня еще узнал одну маленькую деталь.

база должна быть халявной...


А насколько халявной? Совсем или есть лимит по цене?
...
Рейтинг: 0 / 0
20.07.2011, 11:54
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37359704
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
чччД
Участник
softwarermiksoftЛюбая приличная СУБД вычислит now() - 90 один раз.
Ты только что смертельно оскорбил всё Interbase-семейство и вызвал гневную реакцию Сибирякова :)
Ты завис в 87-м.
Семейство давно уже не "всё".
В FB разные группы функций для получения времени, одни возвращают текущий момент, другие - начало выполнения операции.
...
Рейтинг: 0 / 0
20.07.2011, 17:03
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37359753
Alexey K.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey K.
Гость
DPH3А насколько халявной? Совсем или есть лимит по цене?
без поняттия :)
наверное совсем. работа программеров не считается
...
Рейтинг: 0 / 0
20.07.2011, 17:16
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37360009
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
DPH3-2-пропущено...
тогда все-таки файловая система.
Каждую секунду/минуту новый файл. Старые удалять.
Файлы доступны по http (apache) и гугл с яндексом в качестве индексатора.
Запросы все в гугл.Хм. И как для файловой системы решать задачи бэкапирования и HA?Гугл, Результаты поиска, Сохраненная копия...
...
Рейтинг: 0 / 0
20.07.2011, 19:58
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37364429
AAron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AAron
Участник
DPH3-2-пропущено...
тогда все-таки файловая система.
Каждую секунду/минуту новый файл. Старые удалять.
Файлы доступны по http (apache) и гугл с яндексом в качестве индексатора.
Запросы все в гугл.


Хм. И как для файловой системы решать задачи бэкапирования и HA?
Эта задача будет и посложней, нежели заставить Postgress работать с достаточной производительностью.
Да в принципе, не сложно.
Ставишь второй дисковый массив и все.

Вообще, ИМХО, вся задача просится в файловую систему, на какой-нить zfs. При этом важно использовать хороший дисковый массив (SAN), поверх которого можно поставить хороший NAS. Вкупе, такая парочка способна решить проблемы автора. Для HA - использовать дублирование.

Кстати, есть интересное решение Oracle SUN ZFS Storage. Рекомендую посмотреть. Не очень дорогое, но с очень вкусными характеристиками.

В общем, все сильно зависит от бюджета автора.
...
Рейтинг: 0 / 0
23.07.2011, 21:03
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37364572
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
AAron,

Хм. И как второй дисковый массив поможет при HA?

Как обеспечить дублирование данных на уровне ФС, как обеспечить heartbeat, как сделать переключение, как сделать обратную синхронизацию?
Я верю, что есть соответствующие ФС - но их тогда надо бы явно указать. Сказать просто "использовать ФС" - это как "использовать БД" - ни о чем.

Есть опыт использования ZFS для построения систем высокой доступности?
...
Рейтинг: 0 / 0
24.07.2011, 00:40
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37370734
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
Из fs интересна btrfs,
А вообще, задача напомнила мне о существовании http://www.objectivity.com/
...
Рейтинг: 0 / 0
28.07.2011, 12:49
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37371336
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
Victor MetelitsaИз fs интересна btrfs,
А вообще, задача напомнила мне о существовании http://www.objectivity.com/

Хм. Что-то у них на сайте сплошной PR, про принципы работы - тишина....
Может, есть какая-то осмысленная ссылка, что и как они делают?
...
Рейтинг: 0 / 0
28.07.2011, 16:58
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37371347
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Еще на ту же тему - LevelDB
...
Рейтинг: 0 / 0
28.07.2011, 17:02
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37371791
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
DPH3Victor MetelitsaИз fs интересна btrfs,
А вообще, задача напомнила мне о существовании http://www.objectivity.com/

Хм. Что-то у них на сайте сплошной PR, про принципы работы - тишина....
Может, есть какая-то осмысленная ссылка, что и как они делают?

http://www.objectivity.com/pages/objectivity/advantages.asp
...
No O-R Mapping Layer: Significantly reduce development time, maintenance and administrative overhead, and completely eliminate all application errors associated with known o/r mapping issues.
...
No Database Server: Enabling maximum performance with minimal physical constraints, Objectivity/DB does not rely on a database server like many traditional database technologies, but instead consists of a small application library linked into the application, a lock-server process and a page-server process. The lock-server and the page-server are lightweight applications that manage locks and data pages for all of the Objectivity/DB applications accessing a federated database.
...

В старые времена пробная версия с VisualWorks шла (т.е. Smalltalk тоже поддерживался), так что я мог почитать поподробнее.
Если вы помните, в древнем виртовском Паскале было понятие File of record (файл как бы состоял не из байтов, а из записей фиксированной длины) и было дальнейшее этой идеи в TurboPascal под названием BTree Filer (добавились индексы). Как я понимаю (возможно, неправильно), в основе тут лежит что-то вроде этого, хотя на другом уровне, и сверху куча всего навёрнута. Вы всегда можете запросить пробную версию и попробовать попрограммировать лично.
...
Рейтинг: 0 / 0
28.07.2011, 21:36
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37371815
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Victor MetelitsaNo Database Server: Enabling maximum performance with minimal physical constraints,
Objectivity/DB does not rely on a database server like many traditional database
technologies, but instead consists of a small application library linked into the
application, a lock-server process and a page-server process. The lock-server and the
page-server are lightweight applications that manage locks and data pages for all of the
Objectivity/DB applications accessing a federated database.
Раскрученный FVMas.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
28.07.2011, 22:11
| Ответить | Цитировать | Написать  
выбор БД для хранения 8Tb данных
    #37371821
FVMas и лепесток или стебелек
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FVMas и лепесток или стебелек
Гость
Dimitry SibiryakovVictor MetelitsaNo Database Server: Enabling maximum performance with minimal physical constraints,
Objectivity/DB does not rely on a database server like many traditional database
technologies, but instead consists of a small application library linked into the
application, a lock-server process and a page-server process. The lock-server and the
page-server are lightweight applications that manage locks and data pages for all of the
Objectivity/DB applications accessing a federated database.
Раскрученный FVMas.

А FVMas и лепесток или стебелек это одно и тоже?
...
Рейтинг: 0 / 0
28.07.2011, 22:18
| Ответить | Цитировать | Написать  
25 сообщений из 80, страница 3 из 4
  3  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / выбор БД для хранения 8Tb данных
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=37370734&tid=1552625]:
 0ms
get settings:
 11ms
get forum list:
 12ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 44ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 54ms
get tp. blocked users:
 1ms
others: 264ms
total:  405ms
созд. / загр.: 405ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]