|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
Подскажите СУБД для хранения картинок с возможностью индексирования и быстрой выборки по ключу. Очень хочется чтобы она могла работать с большими объемами оперативной памяти (десятки терабайт) и была open source (при этом возможность приобретения платной поддержки крайне приветствуется). ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2019, 14:00 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
ext4 Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2019, 14:21 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov ext4 "Мимо тещиного дома я без шуток не хожу..." ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2019, 16:59 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
вроде картинки обычно на файловой системе хранят и непонятно, что такое индексирование картинок и выборка по ключу ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2019, 17:31 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
Бумбараш вроде картинки обычно на файловой системе хранят и непонятно, что такое индексирование картинок и выборка по ключу Мне для ML это нужно. Файловая система, боюсь, не справится (даже если это будет внешнее хранение из БД) при указанных объемах. Пока курю в сторону MemSQL, но может еще что-то интересное есть. На данный момент у меня вендор-лока нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2019, 19:21 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
С чем "файловая система не справится"? Spark, например, стандартный тул для ML, там всё в файлах хранится. В ML на картинках обычно используются RGB коды картинок, а не сами картинки. То есть это просто таблицы с числами. И ML задачи в СУБД не решаются. Они решаются в том же спарке или питоне. И индексы там не нужны, потому что там идет рандомное пересечение всего со всем сто пицот миллионов раз. По ML лучше в ODS вопросы задавать. Там вам быстро растусуют, что где и как. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2019, 19:55 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
Бумбараш, Спасибо, пошел на ODS. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2019, 15:41 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
witte, несколько мыслей. 1) Под СУБД обычно подразумевается РСУБД (это 99% юзкейсов этого понятия) следовательно надо определить какие именно реляционные операции вы собираетесь с ней (базой) проводить. Если реляционных операций нет (joins в обсновном) то скорее всего нам надо подумать над сменой формулировки и поставить задачу поиска не СУБД а просто хранилища картинок. 2) Индексирование. Как индексировать картинки - это отдельная и сложная тема. Тема машинного зрения (machine vision) и она выходит далеко за рамки просто Сравнения СУБД. Мы не можем с вами говорить in general об индексировании картинок пока не определимся как и каким алгоритмом. От этого может вытечет какая-то БД или хранилище. Навскидку я помню такую тему как perceptual hash. Об ней писали на Хабре. И есть где-то в программировании мой топик на тему индексирования персональных фоток. 3) Гипотетический интерфейс . Ваше техническое задание должно иметь некий acceptance criteria, на основании которого мы (участники) например можем сказать дескыть - да . Эта СУБД подходит. Или Не подходит. А интерфейс - это и есть ваше приложение которого мы не знаем. Например. На гипотетическом языке. Код: java 1. 2. 3. 4. 5.
4) Файловые системы и хранилища. Как в топике было уже сказано.. под данное задание очень подходит любая файловая система. Я плюсую. Учитывая потенциально большие объемы я-бы предложил ZFS. Там есть богатые возможности по программным JBOD, и восстановлению частично поврежденных дисков. И вообще ZFS изначально проектировалась для сверх-больших хранилищ данных. Это ТЗ может быть скорректировано сильно формализацией процедуры lookup(query). Тоесть если мы перечислим все поисковые кейсы которые могут быть. Поиск например по степени схожести двух картинок. Поиск по размерам. Поиск по среднему цвету. Поиск по лицам и так далее. Вобщем - думайте. Пока - файловая система подходит лучше всего. При развитии системы в веб - можно рассмотреть Amazon-S3. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2019, 15:48 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
mayton, Спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2019, 16:57 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
witte, В субд хранять адреса картинок. Картинки хранятся в директориях. Запихивать графические файды в бд это совсем не есть хорошо ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 07:53 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
Areostar, OFF/2: Представляете, а есть мощные движки бд......без ФС от слова совсем :) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 11:57 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
В наше время понятие файловая система - девальвировало. Что такое SD-карточка на вашем телефоне? Это файловая система или просто память? Я не знаю. Что такое S3? Что такое http-enpoint который транслирует старнартный Apache Directory Listing mod? Что такое ftp/cmb/cifs? Что такое Apache Common VFS? Тоже непонятно. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 12:08 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
mayton В наше время .... при всём уважении - это демагогия. существует определение ФС. существуют признаки того, что подразумевается под ФС. и существуют БД которые не юзают ФС в принципе, а обращаются на прямую к железу (либо этот слой реализован в самом железе частично).. а как реализовано то или иное хранилище внутри - то по разному бывает. но если интерфейс (см. правильное определение) к нему, не содержит понимание ФС, то оно его не содержит... (круглый) ЗЫ Интерфейс = совокупность программно-аппаратных средств (и т.д)... ... |
|||
:
Нравится:
Не нравится:
|
|||
08.03.2020, 12:03 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
kolobok0, знаешь круглый. Это была ответка на еще большую демагогию которую ты выше писал. а есть мощные движки бд......без ФС от слова совсем Тоесть данным постом ты просто нивелировал. Обесценил и растоптал 50-летний опыт создания БД на файлах! Ты просто закатал в асфальт Майкла Стоунбрейкера! Ты похоронил целую эпоху прекрасных мангитных блинчиков и катушек с магнитной лентой. Ты отменил ценность ленточной сортировки Кнута! Ты запомоил и запозорил B+Tree index который создавался ТОЛЬКО под нужды маннитных дисков. Позор тебе! Позор! Ты еще скажи что персистенс БД не нужен! P.S. Или ты имел в виду Oracle ASM? Так это тоже файловая система токо кластерная с менеджером томов. Не? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.03.2020, 20:36 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
mayton ...имел в виду Oracle ASM?...Не? НЕ... см. OS400 - ось. AS400 - железка. Делалась под заказ. ФС отсутствует как класс. От слова совсем... ну вот как то так (круглый) ЗЫ Я лично не вижу собственно проблем, если само железо может поддерживать элементарные операции необходимые самому движку БД. Более того - знаю как это можно решить на тех. уровни. Например за один так проца, отработать какой нить деревянный индекс и найти искомое значение. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.03.2020, 21:14 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
mayton, ну ты серый. оракл с незапамятных времен мимо фс на на raw partition можно было ставить. https://docs.oracle.com/en/database/oracle/oracle-database/12.2/ntqrf/raw-partition-overview.html#GUID-52F2956B-AA8E-4E70-8F88-4F24F19FCBEA ... |
|||
:
Нравится:
Не нравится:
|
|||
10.03.2020, 21:23 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
Я ставил еще под Oracle 9i на Windows-2003. Но это неудобно если поддерживаешь схему Primary-Standby. У тебя геометрия разделов должна быть одинаковая для всех датафайлов этого сырого пространства. А для гос-контор того времени - это было просто невозможно обеспечить. Парк дисков был зоопарком. Вот и ставили либо на ext3 RHEL либо на обычные NTFS volumes под Windows. Но это всё автору-то никак не помогает. И преимущества хранения db-blocks поверх сырых устройств уже давно нету. Железо - быстрое. A ASM это отдельная тема. По нему курс обучения проходить надо. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.03.2020, 22:01 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
mayton, т.е. ложечки (мощные движки бд......без ФС от слова совсем) нашлись, но осадочек остался аффтору нефиг выдумать ерунду, ему нужен банальный hdfs и spark. ну или S3, если его неспешность не пугает. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.03.2020, 22:32 |
|
СУБД для хранения снимков
|
|||
---|---|---|---|
#18+
Наиболее простым СУБД в плане скриннинга и скорости работы является Oracle с изначальной релляционной моделью. Эта СУБД относится к категории мультимодельных с графовой LPG моделью и документной поддержкой по аналогии с Microsoft SQL ... |
|||
:
Нравится:
Не нравится:
|
|||
21.04.2020, 23:09 |
|
|
start [/forum/topic.php?fid=35&tid=1552174]: |
0ms |
get settings: |
11ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
349ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
56ms |
get tp. blocked users: |
2ms |
others: | 261ms |
total: | 713ms |
0 / 0 |