powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Хранение файлов в бд или в файловой системе?
25 сообщений из 61, страница 1 из 3
Хранение файлов в бд или в файловой системе?
    #39673264
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Подскажите пожалуйста как лучше сделать? Любые файлы, не только картинки.

Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д.

Но все же.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673274
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklop,
Поиск по темам.
Оракл хранит в бд как файлы вне в бд.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673310
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Можно еще какой-нибудь openstack swift взять. Смотря для чего.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673533
tunknown
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopДа, я понимаю что это зависит именно от проекта, от нагрузки и т.д.MSSQL умеет FILESTREM/FILETABLE, в нём можно и в базе. MySQL такого, кажется, ещё не умеет. Это зависит не только от нагрузки, но и от базы.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673617
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklop,

В общем случае лучше на файловой системе.
В частном, надо смотреть какая БД, какая предполагается загрузка, какой размер файлов и т.д.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673637
Фотография Valentin Kolesnikov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopПодскажите пожалуйста как лучше сделать? Любые файлы, не только картинки.

Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д.

Но все же.

Как альтернатива файлы можно хранить в Amazon S3 и Firebase.

С уважением, Валентин
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673646
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mad_nazgulВ общем случае лучше на файловой системе.
В частном, надо смотреть какая БД, какая предполагается загрузка, какой размер файлов и т.д.склоняюсь к хранению в файловой системе - бэкап делается простым копированием файлов. бэкап же базы - дело специфическое , и если файлов много - база получается очень большой и время вэкапа возрастает.
если файлы - то и просмотр возможен без базы субд
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673650
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopПодскажите пожалуйста как лучше сделать? Любые файлы, не только картинки.

Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д.

Но все же.

Классика всё же- хранение в БД ссылки на доступное app-серверу хранилище файлов.

Ну или hdfs, кстати. Три копии, читать с любого места, можно потом хоть spark запускать. Единственное- не любит много файлов в одном каталоге.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673668
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
СУБД дает возможность поддержать целостность. 100500 файлов на диске без продвинутых и самописных средств администрирования - это не бэкап, а помойка, где никто никогда не разберется.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673677
Partisan M
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominКлассика всё же- хранение в БД ссылки на доступное app-серверу хранилище файлов.

Никакая это не классика, а один из 2 способов. Слово app-сервер не существует, но про него не спрашивали.

mad_nazgulВ общем случае лучше на файловой системе.


Уровень аргументации потрясает.

PetroОракл хранит в бд как файлы вне в бд.

Тоже не угадал. В Oracle есть 2 способа. Вы указали один - объекты типа BFile, хранящие ссылку на файл. Но файлы можно хранить и в BLOB. О чём и спрашивали - что выбирать.

Ответ автору темы: тут вам не ответят ввиду нехватки знаний у ораторов.

При хранении ссылок на файл, то есть например как BFile в Oracle, следует иметь ввиду недостатки этого способа:
- при репликации содержимого базы не подвергается репликации содержимое файлов (средствами СУБД), о нём надо заботиться отдельно. Таким образом, есть дополнительный риск поери данных или несогласованного состояния их.
- при изменении содержимого файлов это не отражается в объектах базы.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673686
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevСУБД дает возможность поддержать целостность.
- это плюс, все остальное это минусы. Уже сказали:
- жирный бэкап (конечно зависит от количества и размера файлов)
- не все БД умеют хранить файлы эффективно (хранить их как BLOB - убивать производительность)
- любые операции с файлами потребуют дополнительный действий с БД (увеличиваем нагрузку на БД)

Leonid Kudryavtsev100500 файлов на диске без продвинутых и самописных средств администрирования - это не бэкап
- наличие правильного RAID позволяет долго жить без бэкапирования, но в любом случае, бэкапирование ФС - это хорошо проработанная тема с кучей готовых инструментов и решений
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673696
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kachalov- наличие правильного RAID позволяет долго жить без бэкапирования,

полный бред
с таким же успехом, можно купить дорогой жесткий диск и уверять "у меня качественный SSD Intel, мне бэкапы не нужны"
правильность RAID и бэкапы - вещь совершенно перпендикулярное. Как сравнивать мягкой и теплое.

Kachalovно в любом случае, бэкапирование ФС - это хорошо проработанная тема с кучей готовых инструментов и решений

Возможно. Не являюсь специалистов в бэкапирование ФС.
Но и бэкапирования базы - тоэе хорошо проработанная тема с кучей готовых инструментов и решений ))) и тоже проблемой не является

А вот вопрос, насколько СИНХРОННОЕ бэкапирование ФС и БД - является проработанно схемой и какие Вы знаете для этого бесплатные инструменты?

Как пример. Произошла авария. Потеряны данные на диске за последний день. Какой инструмент бэкапирования ФС выдаст список товаров, от которых потерялись фотки.
Или, например, для музейной системы обслуживающую полиграфическую деятельность, список предметов для последних издаваемых каталога, где частично потерялись обработанные дизайнером файлы из издательства в другой стране
(т.е. ценность файлов достаточно высока, до тысячь долларов за файл: отослать картину за границу + страховка + спецтранспорт до аэропорта, профессиональная сьемка /100-300$ за слайд/, обработка слайда дизайнером издательства /сканирование, обрезка, цветокоррекция/)
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673698
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kachalov- жирный бэкап (конечно зависит от количества и размера файлов)имел дело с системой хранящей файлы в базе - как таковых данных не много , но весь бэкап -больше 14гиг и растёт. как-то не в радость делать такой постоянно.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673704
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevА вот вопрос, насколько СИНХРОННОЕ бэкапирование ФС и БД - является проработанно схемой и какие Вы знаете для этого бесплатные инструменты?у seagate есть бесплатные , поставляемые с их внешними дисками - делают бэкап файлов налету. и как бы файл не был большим он всегда меньше файла базы данный - и достаточно в бэкап добавлять только новые файлы - что быстрее.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673713
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsevполный бред
с таким же успехом, можно купить дорогой жесткий диск и уверять "у меня качественный SSD Intel, мне бэкапы не нужны"
правильность RAID и бэкапы - вещь совершенно перпендикулярное. Как сравнивать мягкой и теплое.
- да, насчет того что RAID и бэкап перпендикулярны, согласен, так ведь я и написал "RAID позволяет долго жить без бэкапирования", так что "полного бреда" в своем тезисе не наблюдаю.

Знаю, что многие компании специализирующиеся на хостинге игнорируют бэкапы годами и вспоминают о них только когда RAID деградирует и резко снижается производительность. Но и это не самая страшная проблема. А вот восстановление данных из бэкапа - это гарантированный простой, прямо пропорциональный размеру бэкапа. Кроме того бывают такие объемы данных для которых понятие бэкапа неприменимо.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673715
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Partisan MТоже не угадал. В Oracle есть 2 способа. Вы указали один - объекты типа BFile, хранящие ссылку на файл. Но файлы можно хранить и в BLOB. О чём и спрашивали - что выбирать.у тебя трудности со чтением?
Я указал альтернативу хранеия в блоб.
Т.е. ссылка на файл в бд.
Обзор и недостатки писать, у меня ты есть.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673936
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevВозможно. Не являюсь специалистов в бэкапирование ФС.
Но и бэкапирования базы - тоэе хорошо проработанная тема с кучей готовых инструментов и решений ))) и тоже проблемой не является

А вот вопрос, насколько СИНХРОННОЕ бэкапирование ФС и БД - является проработанно схемой и какие Вы знаете для этого бесплатные инструменты?

да нет никакого синхронного бэкапа, файлуха и бд сами по себе

после аварии надо восстанавливаться на момент до падения
база это сделает за счет архивлогов
а фс только на момент последнего фулл или инкр бэкапа
дельта по файлам, с момента бэкапа до аварии потеряется


есть правда фс с полным журналированием, типа zfs
у вас она стоит?
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673938
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KachalovЗнаю, что многие компании специализирующиеся на хостинге игнорируют бэкапы годами и вспоминают о них только когда RAID деградирует и резко снижается производительность. Но и это не самая страшная проблема. А вот восстановление данных из бэкапа - это гарантированный простой, прямо пропорциональный размеру бэкапа. Кроме того бывают такие объемы данных для которых понятие бэкапа неприменимо.
глупости
любой объем бэкапят, хоть на ленту хоть на диск,
бэкапы - это не технический вопрос а организационный
данные важны? значит бэкап.
не так важны? ну и забьем

че там у хостеров? логи посещений?
а что в банках? твои денюжки
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673940
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopНо все же.
Если оперировать терминами RPO и RTO, то при хранении файлов на ФС можно выжать лучшие показатели при меньших расходах. Bottom line такой: когда надо записать файл, генерируем для него айдишник (long например), каждый октет, кроме последнего, определяет каталог ФС, последний - имя файла, в итоге все пути получаются уникальные и в каждом каталоге не особо много файлов получается (до 256), записываем файл на ФС, записываем информацию о файле в базу, коммитим транзакцию. Нужно обновить файл? Создаем новый, а не обновляем старый! То что при таком подходе ФС может уходить вперед от БД (при откатах или восстановлениях БД) - ничего страшного в этом нет, к потеряшкам все равно никто обращаться не будет (нет записей в БД) - делаем фоновое задание, которое будет удалять потеряшки и все. Нужно время бэкапа уменьшить? Ок, создаем несколько каталогов для хранения файлов, для каждого отдельный пул идентификаторов в базе, один из них помечаем активным - куда будет идти запись новых файлов, как только переключились с одного каталога на другой переключаем старый в RO, делаем ему последний бэкап и перестаем бекапить вообще. Нужно что-то еще более продвинутое? Впихиваем гибридную ФС, которая сама будет старье куда-нибудь на ленту сливать, а то к чему недавно обращались держать на ФС, либо колхозим временное хранение в BLOB/BFILE и слитие в ФС.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673951
schi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хранить надо в одном месте, чтобы не мучиться с синхронизацией. То есть, в базе, если кроме файлов в базе есть еще какие-то данные.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673962
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинаклюбой объем бэкапят, хоть на ленту хоть на диск,только гемору разное количество.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673963
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Можно сколько угодно рассуждать о том, где их можно хранить, но без четкой задачи дать однозначный ответ никто не сможет.
ТС`у может файлы по 100 гигов надо хранить.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673969
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hett,
+1
Это напоминает:
авторДесктоп или веб? Что лучше?
Подскажите пожалуйста как лучше сделать? Любые файлы программы, не только картинки игрушки.
Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д.
Но все же.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674123
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинакглупости
любой объем бэкапят, хоть на ленту хоть на диск,
бэкапы - это не технический вопрос а организационный

- ну-ну:
Архив Интернета - по состоянию на октябрь 2016 года — 15 петабайт

казинакче там у хостеров? логи посещений?
а что в банках? твои денюжки
- у хостеров сайты и данные клиентов, которые за свои данные и простой норовят содрать втридорога
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674127
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хитрый Tsyklop хочет получить сразу ответы - но их нет. Более того - он не хочет отвечать
по нагрузке, размеру файлов и т.п. Это невежливо.

Эта задача - суть матрица стратегий.

Если ее нарисовать табличкой

Хранение файлов в файловой системеХранение файлов в БДУдальная стоимость хранения 1ГбПропускная способность (мб/сек)Наличие hot backup (и здесь можно написать еще около 100 пунктов)

то у нас - будет вектор параметров которые можно как-то сравнивать с задачей и что-то
там решать на архитектурном уровне.
...
Рейтинг: 0 / 0
25 сообщений из 61, страница 1 из 3
Форумы / Java [игнор отключен] [закрыт для гостей] / Хранение файлов в бд или в файловой системе?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]