ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Хранение изображений в БД или в FS
16 сообщений из 16, страница 1 из 1
Хранение изображений в БД или в FS
    #39210601
Sabracadabra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sabracadabra
Гость
Добрый день! Есть в БД около 100 тыс. клиентов. На каждого клиента есть сканы трех многостраничных документов (договоров) в формате PDF. Хранить 300 тыс. в БД накладно и неэффективно. Если хранить эти документы как файлы, то 300 тыс. файлов в каталоге многовато, можно разбить на каталоги для каждого клиента, но и 100 тыс. много. Переходить на другую СУБД уже нет возможности. У кого-нибудь м.б. была такая задача?
...
Рейтинг: 0 / 0
07.04.2016, 22:14
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39210609
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
SabracadabraЕсли хранить эти документы как файлы, то 300 тыс. файлов в каталоге многовато, можно разбить на каталоги для каждого клиента, но и 100 тыс. много.Конечно, много. Так ФС будет хорошо притормаживать. Обычно делают дерево каталогов с таким расчётом, чтоб в каждом каталоге находилось не более нескольких сотен элементов. Ну а в БД есть смысл хранить соответствие реального имени (и других атрибутов файла) к его пути в файловой системе.
...
Рейтинг: 0 / 0
07.04.2016, 22:29
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39210610
Sabracadabra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sabracadabra
Гость
Спасибо,vkle! Это хорошая идея - сделать дерево каталогов.
...
Рейтинг: 0 / 0
07.04.2016, 22:32
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39210613
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Сильно зависит от задачи.
Если для этих данных нужны механизмы СУБД - репликация, транзакции, общий бэкап и т.д., то имеет смысл хранить в БД.
Если ничего этого не нужно, то лучше в ФС. Лучше хранить в дереве каталогов с примерно равномерным размещением по листьевым каталогам, а в БД хранить относительный путь относительно условного корня этого дерева.

Например, мы храним изображения товаров в 256 каталогах с именами от 00 до FF, где каталог вычисляется остатком от деления кода товара на 256 и переводом в 16-ричную систему.
Если имена файлов уже являются некими номерами, то некоторые для именования каталогов используют первые 2-3 символа из имен файлов.
...
Рейтинг: 0 / 0
07.04.2016, 22:38
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39210625
Sabracadabra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sabracadabra
Гость
Спасибо большое, miksoft и vkle! Вы мне очень помогли.
...
Рейтинг: 0 / 0
07.04.2016, 23:10
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39210720
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Sabracadabra,
хранить файлы в бд и вне ее равно эффективно.
все равно, будут ли страницы данных файлов принадлежать базе или файловой системе.
как делать зависит от выбранного способа доступа к файлам и архитектуры.
...
Рейтинг: 0 / 0
08.04.2016, 08:48
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39211484
Sabracadabra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sabracadabra
Гость
MasterZiv, спасибо за ответ. Это понятно, просто мой выбор был за FS из-за непотребного в будущем размера файла данных БД MySQL, что привело бы к проблемам резервирования БД. Сканы договоров нет необходимости резервировать, т.к. это как бы дополнительный бонус в системе и не относится к ее основным функциям.
...
Рейтинг: 0 / 0
08.04.2016, 21:36
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39211823
bochkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bochkov
Участник
думаю что в базе хранить надо,
чтоб не резервировать - в отдельной таблице,
и пускай там mysql разбирается как это все хранить, индексировать, извлекать
оно тебе надо с каталогами и фс заморачиваться?
...
Рейтинг: 0 / 0
10.04.2016, 02:05
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39211845
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Sabracadabra,
тут есть несколько аспектов
— файл, если их хранить в фс будут доступны на клиентах в том случае, если они будут
в каталоге фс сайта, можно и вне, но это некоторые сложности
— хранить файлы в каталоге сайта тоже не есть хорошо.
— делать бэкап базы очень проблематично, если в ней хранятся сами файлы.
слишком большой объем.
я рекомендую 1 вариант, в фс, но вне каталога сайта.
...
Рейтинг: 0 / 0
10.04.2016, 07:36
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39231900
aliskin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aliskin
Участник
https://habrahabr.ru/post/45966/

и еще на томм же хабре была более подробная статья о каком-то расширении ориентированного на работу с файлами в бд. На "с файлами бд", а " работу с файлами в бд".
вам уже подусказали. файл на диск (НО тут нужно подумать где именно его хранить, так как ждиск больше 300 рпс не выдержит), а ссылку на файл в бд.

---
ГДЕ хранить файл: Например из файла получаем мд5. мд5 сторку разбиваем на 4 или 8 меньших строк.

например мд5 будет 015. разбиваем на 3 части. В результате путь для хранения файла будет состоять из 0 / 1 / 5.jpg
Дерево каталогов (постараюсь объяснить так чтобы самому не запутаться в объяснении):
Код: sql
1.
2.
3.
1 символ пути    _0_                      1                   2 3 5 ... f 
2 символ пути     0 _1_   .   .   .   f                     0...f
3 символ пути        0 1 2 3 4 _5_ ...f


директория 0 имеет поддиректории от 0 до f. каждая поддиректория тоже имеет поддиректории от 0 до f. и так глубже и глубже. НО это я основную идею пытаюсь передать. Хочу показать как использовать функц (в этом примере мд5) для распределения нагрузки на систему хранения данных в огромных проэктах. Поищите видео "Проблемы хранения больших объемов данных" -там об этом рассказано.
...
Рейтинг: 0 / 0
09.05.2016, 18:03
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39231901
aliskin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aliskin
Участник
ах, блин, о монтировании забыл. Вся эта иерархия как-то хитро монтируется. Нужно ОЧЕНЬ большие массивы дисков.
вот смотрите:
YouTube Video
YouTube Video
...
Рейтинг: 0 / 0
09.05.2016, 18:11
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39231935
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
aliskin https://habrahabr.ru/post/45966/

и еще на томм же хабре была более подробная статья о каком-то расширении ориентированного на работу с файлами в бд. На "с файлами бд", а " работу с файлами в бд".
вам уже подусказали. файл на диск (НО тут нужно подумать где именно его хранить, так как ждиск больше 300 рпс не выдержит), а ссылку на файл в бд.

---
ГДЕ хранить файл: Например из файла получаем мд5. мд5 сторку разбиваем на 4 или 8 меньших строк.

например мд5 будет 015. разбиваем на 3 части. В результате путь для хранения файла будет состоять из 0 / 1 / 5.jpg
Дерево каталогов (постараюсь объяснить так чтобы самому не запутаться в объяснении):
Код: sql
1.
2.
3.
1 символ пути    _0_                      1                   2 3 5 ... f 
2 символ пути     0 _1_   .   .   .   f                     0...f
3 символ пути        0 1 2 3 4 _5_ ...f


директория 0 имеет поддиректории от 0 до f. каждая поддиректория тоже имеет поддиректории от 0 до f. и так глубже и глубже. НО это я основную идею пытаюсь передать. Хочу показать как использовать функц (в этом примере мд5) для распределения нагрузки на систему хранения данных в огромных проэктах. Поищите видео "Проблемы хранения больших объемов данных" -там об этом рассказано.
проблема на ровном месте.
для этого лучше использовать не md5 - для формирования md5надо прочитать файл и обработать прочитанное.
проще присваиивать имена в виде GUID , и промещать в папки, по первым 3/4/5 первым символам имени (GUID)
формировать путь для поиска / записи просто
а хранить в базе только имя файла, что автоматом сохраняет и путь
...
Рейтинг: 0 / 0
09.05.2016, 19:46
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39231950
aliskin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aliskin
Участник
можно и так. я очень плохо объяснил :( и видео не то что нужно указал.

И, бл..., почему я не могу редактировать свои комментарии?
...
Рейтинг: 0 / 0
09.05.2016, 20:22
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39231957
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
SabracadabraMasterZiv, спасибо за ответ. Это понятно, просто мой выбор был за FS из-за непотребного в будущем размера файла данных БД MySQL, что привело бы к проблемам резервирования БД. Сканы договоров нет необходимости резервировать, т.к. это как бы дополнительный бонус в системе и не относится к ее основным функциям.

Не привело бы.
В MySQL резервирование и так проблема, так что один фиг.
а вот если хранить документы в FS, это -- куча файлов, что может быть проблемой, а если в БД -- это несколько файлов на всех.
...
Рейтинг: 0 / 0
09.05.2016, 20:46
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39231959
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
вадяSabracadabra,
тут есть несколько аспектов
— файл, если их хранить в фс будут доступны на клиентах в том случае, если они будут
в каталоге фс сайта, можно и вне, но это некоторые сложности
— хранить файлы в каталоге сайта тоже не есть хорошо.
— делать бэкап базы очень проблематично, если в ней хранятся сами файлы.
слишком большой объем.
я рекомендую 1 вариант, в фс, но вне каталога сайта.

Ты можешь не делать дампы тех частей БД, где хранятся файлы.
В MySQL "дампы" делаются потаблично, так что всё более-менее ОК.
...
Рейтинг: 0 / 0
09.05.2016, 20:48
| Ответить | Цитировать | Написать  
Хранение изображений в БД или в FS
    #39231962
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
авторТы можешь не делать дампы тех частей БД, где хранятся файлы.
В MySQL "дампы" делаются потаблично, так что всё более-менее ОК.
помимо этого есть ещё неудобства....
поэтому не рекомендую хранение файлов в базе.
...
Рейтинг: 0 / 0
09.05.2016, 21:02
| Ответить | Цитировать | Написать  
16 сообщений из 16, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Хранение изображений в БД или в FS
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=39210609&tid=1831821]:
 0ms
get settings:
 9ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 170ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 37ms
get tp. blocked users:
 1ms
others: 248ms
total:  493ms
созд. / загр.: 493ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]