powered by simpleCommunicator - 2.0.28     © 2024 Programmizd 02
Map
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / СУБД для хранения снимков
19 сообщений из 19, страница 1 из 1
СУБД для хранения снимков
    #39896382
witte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Подскажите СУБД для хранения картинок с возможностью индексирования и быстрой выборки по ключу. Очень хочется чтобы она могла работать с большими объемами оперативной памяти (десятки терабайт) и была open source (при этом возможность приобретения платной поддержки крайне приветствуется).
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39896407
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ext4
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39896534
witte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov

ext4

"Мимо тещиного дома я без шуток не хожу..."
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39896545
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вроде картинки обычно на файловой системе хранят

и непонятно, что такое индексирование картинок и выборка по ключу
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39896583
witte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Бумбараш
вроде картинки обычно на файловой системе хранят

и непонятно, что такое индексирование картинок и выборка по ключу

Мне для ML это нужно. Файловая система, боюсь, не справится (даже если это будет внешнее хранение из БД) при указанных объемах.
Пока курю в сторону MemSQL, но может еще что-то интересное есть. На данный момент у меня вендор-лока нет.
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39896593
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
С чем "файловая система не справится"? Spark, например, стандартный тул для ML, там всё в файлах хранится.

В ML на картинках обычно используются RGB коды картинок, а не сами картинки. То есть это просто таблицы с числами. И ML задачи в СУБД не решаются. Они решаются в том же спарке или питоне. И индексы там не нужны, потому что там идет рандомное пересечение всего со всем сто пицот миллионов раз.

По ML лучше в ODS вопросы задавать. Там вам быстро растусуют, что где и как.
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39896698
witte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Бумбараш,

Спасибо, пошел на ODS.
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39896701
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
witte, несколько мыслей.


1)
Под СУБД обычно подразумевается РСУБД (это 99% юзкейсов этого понятия) следовательно надо определить
какие именно реляционные операции вы собираетесь с ней (базой) проводить.

Если реляционных операций нет (joins в обсновном) то скорее всего нам надо подумать над сменой формулировки
и поставить задачу поиска не СУБД а просто хранилища картинок.

2)
Индексирование. Как индексировать картинки - это отдельная и сложная тема. Тема машинного зрения (machine vision)
и она выходит далеко за рамки просто Сравнения СУБД. Мы не можем с вами говорить in general об индексировании
картинок пока не определимся как и каким алгоритмом. От этого может вытечет какая-то БД или хранилище.

Навскидку я помню такую тему как perceptual hash. Об ней писали на Хабре. И есть где-то в программировании
мой топик на тему индексирования персональных фоток.

3)
Гипотетический интерфейс . Ваше техническое задание должно иметь некий acceptance criteria, на основании
которого мы (участники) например можем сказать дескыть - да . Эта СУБД подходит. Или Не подходит.
А интерфейс - это и есть ваше приложение которого мы не знаем.

Например. На гипотетическом языке.

Код: java
1.
2.
3.
4.
5.
interface PictureDatabase {
   def putImage(image : Image) : ID
   def getImage(id : ID) : Image
   def lookup(query : String) : List[IMage] // Perceptual lookup for fuzzy criteria (ex: query="WHERE avgColor = RGB(0.3,0.2,00)")
}



4)
Файловые системы и хранилища. Как в топике было уже сказано.. под данное задание очень подходит
любая файловая система. Я плюсую. Учитывая потенциально большие объемы я-бы предложил ZFS. Там есть богатые возможности
по программным JBOD, и восстановлению частично поврежденных дисков. И вообще ZFS изначально проектировалась
для сверх-больших хранилищ данных.

Это ТЗ может быть скорректировано сильно формализацией процедуры lookup(query). Тоесть если мы перечислим
все поисковые кейсы которые могут быть. Поиск например по степени схожести двух картинок. Поиск по размерам.
Поиск по среднему цвету. Поиск по лицам и так далее.

Вобщем - думайте. Пока - файловая система подходит лучше всего.

При развитии системы в веб - можно рассмотреть Amazon-S3.
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39896708
witte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

Спасибо.
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39935360
Фотография Areostar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
witte,

В субд хранять адреса картинок. Картинки хранятся в директориях. Запихивать графические файды в бд это совсем не есть хорошо
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39935382
kolobok0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Areostar,

OFF/2:
Представляете, а есть мощные движки бд......без ФС от слова совсем :)
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39935383
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В наше время понятие файловая система - девальвировало. Что такое SD-карточка на вашем телефоне?
Это файловая система или просто память? Я не знаю. Что такое S3? Что такое http-enpoint который транслирует
старнартный Apache Directory Listing mod? Что такое ftp/cmb/cifs? Что такое Apache Common VFS? Тоже непонятно.
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39935550
kolobok0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
В наше время ....


при всём уважении - это демагогия.
существует определение ФС. существуют признаки того, что подразумевается под ФС.
и существуют БД которые не юзают ФС в принципе, а обращаются на прямую к железу (либо этот слой реализован в самом железе частично)..

а как реализовано то или иное хранилище внутри - то по разному бывает. но если интерфейс (см. правильное определение) к нему, не содержит понимание ФС, то оно его не содержит...

(круглый)
ЗЫ
Интерфейс = совокупность программно-аппаратных средств (и т.д)...
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39936086
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kolobok0, знаешь круглый. Это была ответка на еще большую демагогию которую ты выше писал.


а есть мощные движки бд......без ФС от слова совсем

Тоесть данным постом ты просто нивелировал. Обесценил и растоптал 50-летний
опыт создания БД на файлах! Ты просто закатал в асфальт Майкла Стоунбрейкера!
Ты похоронил целую эпоху прекрасных мангитных блинчиков и катушек с магнитной лентой.
Ты отменил ценность ленточной сортировки Кнута! Ты запомоил и запозорил B+Tree index
который создавался ТОЛЬКО под нужды маннитных дисков.

Позор тебе! Позор!

Ты еще скажи что персистенс БД не нужен!

P.S. Или ты имел в виду Oracle ASM? Так это тоже файловая система токо кластерная с менеджером томов. Не?
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39936096
kolobok0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
...имел в виду Oracle ASM?...Не?


НЕ...
см. OS400 - ось. AS400 - железка.

Делалась под заказ. ФС отсутствует как класс. От слова совсем...

ну вот как то так
(круглый)
ЗЫ
Я лично не вижу собственно проблем, если само железо может поддерживать элементарные операции необходимые самому движку БД. Более того - знаю как это можно решить на тех. уровни. Например за один так проца, отработать какой нить деревянный индекс и найти искомое значение.
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39936101
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

ну ты серый. оракл с незапамятных времен мимо фс на на raw partition можно было ставить.
https://docs.oracle.com/en/database/oracle/oracle-database/12.2/ntqrf/raw-partition-overview.html#GUID-52F2956B-AA8E-4E70-8F88-4F24F19FCBEA
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39936107
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я ставил еще под Oracle 9i на Windows-2003. Но это неудобно если поддерживаешь схему
Primary-Standby. У тебя геометрия разделов должна быть одинаковая для всех датафайлов
этого сырого пространства. А для гос-контор того времени - это было просто невозможно
обеспечить. Парк дисков был зоопарком. Вот и ставили либо на ext3 RHEL либо на обычные
NTFS volumes под Windows.

Но это всё автору-то никак не помогает. И преимущества хранения db-blocks
поверх сырых устройств уже давно нету. Железо - быстрое. A ASM это отдельная тема.
По нему курс обучения проходить надо.
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39936116
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

т.е. ложечки (мощные движки бд......без ФС от слова совсем) нашлись, но осадочек остался

аффтору нефиг выдумать ерунду, ему нужен банальный hdfs и spark. ну или S3, если его неспешность не пугает.
...
Рейтинг: 0 / 0
СУБД для хранения снимков
    #39949754
Petissa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Наиболее простым СУБД в плане скриннинга и скорости работы является Oracle с изначальной релляционной моделью. Эта СУБД относится к категории мультимодельных с графовой LPG моделью и документной поддержкой по аналогии с Microsoft SQL
...
Рейтинг: 0 / 0
19 сообщений из 19, страница 1 из 1
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / СУБД для хранения снимков
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]