|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Подскажите пожалуйста как лучше сделать? Любые файлы, не только картинки. Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д. Но все же. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.07.2018, 17:09 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Tsyklop, Поиск по темам. Оракл хранит в бд как файлы вне в бд. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.07.2018, 17:23 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Можно еще какой-нибудь openstack swift взять. Смотря для чего. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.07.2018, 18:32 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
TsyklopДа, я понимаю что это зависит именно от проекта, от нагрузки и т.д.MSSQL умеет FILESTREM/FILETABLE, в нём можно и в базе. MySQL такого, кажется, ещё не умеет. Это зависит не только от нагрузки, но и от базы. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 09:44 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Tsyklop, В общем случае лучше на файловой системе. В частном, надо смотреть какая БД, какая предполагается загрузка, какой размер файлов и т.д. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 12:01 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
TsyklopПодскажите пожалуйста как лучше сделать? Любые файлы, не только картинки. Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д. Но все же. Как альтернатива файлы можно хранить в Amazon S3 и Firebase. С уважением, Валентин ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 12:21 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
mad_nazgulВ общем случае лучше на файловой системе. В частном, надо смотреть какая БД, какая предполагается загрузка, какой размер файлов и т.д.склоняюсь к хранению в файловой системе - бэкап делается простым копированием файлов. бэкап же базы - дело специфическое , и если файлов много - база получается очень большой и время вэкапа возрастает. если файлы - то и просмотр возможен без базы субд ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 12:29 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
TsyklopПодскажите пожалуйста как лучше сделать? Любые файлы, не только картинки. Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д. Но все же. Классика всё же- хранение в БД ссылки на доступное app-серверу хранилище файлов. Ну или hdfs, кстати. Три копии, читать с любого места, можно потом хоть spark запускать. Единственное- не любит много файлов в одном каталоге. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 12:39 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
СУБД дает возможность поддержать целостность. 100500 файлов на диске без продвинутых и самописных средств администрирования - это не бэкап, а помойка, где никто никогда не разберется. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 12:53 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Alexey TominКлассика всё же- хранение в БД ссылки на доступное app-серверу хранилище файлов. Никакая это не классика, а один из 2 способов. Слово app-сервер не существует, но про него не спрашивали. mad_nazgulВ общем случае лучше на файловой системе. Уровень аргументации потрясает. PetroОракл хранит в бд как файлы вне в бд. Тоже не угадал. В Oracle есть 2 способа. Вы указали один - объекты типа BFile, хранящие ссылку на файл. Но файлы можно хранить и в BLOB. О чём и спрашивали - что выбирать. Ответ автору темы: тут вам не ответят ввиду нехватки знаний у ораторов. При хранении ссылок на файл, то есть например как BFile в Oracle, следует иметь ввиду недостатки этого способа: - при репликации содержимого базы не подвергается репликации содержимое файлов (средствами СУБД), о нём надо заботиться отдельно. Таким образом, есть дополнительный риск поери данных или несогласованного состояния их. - при изменении содержимого файлов это не отражается в объектах базы. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:02 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevСУБД дает возможность поддержать целостность. - это плюс, все остальное это минусы. Уже сказали: - жирный бэкап (конечно зависит от количества и размера файлов) - не все БД умеют хранить файлы эффективно (хранить их как BLOB - убивать производительность) - любые операции с файлами потребуют дополнительный действий с БД (увеличиваем нагрузку на БД) Leonid Kudryavtsev100500 файлов на диске без продвинутых и самописных средств администрирования - это не бэкап - наличие правильного RAID позволяет долго жить без бэкапирования, но в любом случае, бэкапирование ФС - это хорошо проработанная тема с кучей готовых инструментов и решений ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:11 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Kachalov- наличие правильного RAID позволяет долго жить без бэкапирования, полный бред с таким же успехом, можно купить дорогой жесткий диск и уверять "у меня качественный SSD Intel, мне бэкапы не нужны" правильность RAID и бэкапы - вещь совершенно перпендикулярное. Как сравнивать мягкой и теплое. Kachalovно в любом случае, бэкапирование ФС - это хорошо проработанная тема с кучей готовых инструментов и решений Возможно. Не являюсь специалистов в бэкапирование ФС. Но и бэкапирования базы - тоэе хорошо проработанная тема с кучей готовых инструментов и решений ))) и тоже проблемой не является А вот вопрос, насколько СИНХРОННОЕ бэкапирование ФС и БД - является проработанно схемой и какие Вы знаете для этого бесплатные инструменты? Как пример. Произошла авария. Потеряны данные на диске за последний день. Какой инструмент бэкапирования ФС выдаст список товаров, от которых потерялись фотки. Или, например, для музейной системы обслуживающую полиграфическую деятельность, список предметов для последних издаваемых каталога, где частично потерялись обработанные дизайнером файлы из издательства в другой стране (т.е. ценность файлов достаточно высока, до тысячь долларов за файл: отослать картину за границу + страховка + спецтранспорт до аэропорта, профессиональная сьемка /100-300$ за слайд/, обработка слайда дизайнером издательства /сканирование, обрезка, цветокоррекция/) ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:27 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Kachalov- жирный бэкап (конечно зависит от количества и размера файлов)имел дело с системой хранящей файлы в базе - как таковых данных не много , но весь бэкап -больше 14гиг и растёт. как-то не в радость делать такой постоянно. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:30 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevА вот вопрос, насколько СИНХРОННОЕ бэкапирование ФС и БД - является проработанно схемой и какие Вы знаете для этого бесплатные инструменты?у seagate есть бесплатные , поставляемые с их внешними дисками - делают бэкап файлов налету. и как бы файл не был большим он всегда меньше файла базы данный - и достаточно в бэкап добавлять только новые файлы - что быстрее. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:36 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsevполный бред с таким же успехом, можно купить дорогой жесткий диск и уверять "у меня качественный SSD Intel, мне бэкапы не нужны" правильность RAID и бэкапы - вещь совершенно перпендикулярное. Как сравнивать мягкой и теплое. - да, насчет того что RAID и бэкап перпендикулярны, согласен, так ведь я и написал "RAID позволяет долго жить без бэкапирования", так что "полного бреда" в своем тезисе не наблюдаю. Знаю, что многие компании специализирующиеся на хостинге игнорируют бэкапы годами и вспоминают о них только когда RAID деградирует и резко снижается производительность. Но и это не самая страшная проблема. А вот восстановление данных из бэкапа - это гарантированный простой, прямо пропорциональный размеру бэкапа. Кроме того бывают такие объемы данных для которых понятие бэкапа неприменимо. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:45 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Partisan MТоже не угадал. В Oracle есть 2 способа. Вы указали один - объекты типа BFile, хранящие ссылку на файл. Но файлы можно хранить и в BLOB. О чём и спрашивали - что выбирать.у тебя трудности со чтением? Я указал альтернативу хранеия в блоб. Т.е. ссылка на файл в бд. Обзор и недостатки писать, у меня ты есть. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:51 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevВозможно. Не являюсь специалистов в бэкапирование ФС. Но и бэкапирования базы - тоэе хорошо проработанная тема с кучей готовых инструментов и решений ))) и тоже проблемой не является А вот вопрос, насколько СИНХРОННОЕ бэкапирование ФС и БД - является проработанно схемой и какие Вы знаете для этого бесплатные инструменты? да нет никакого синхронного бэкапа, файлуха и бд сами по себе после аварии надо восстанавливаться на момент до падения база это сделает за счет архивлогов а фс только на момент последнего фулл или инкр бэкапа дельта по файлам, с момента бэкапа до аварии потеряется есть правда фс с полным журналированием, типа zfs у вас она стоит? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 07:27 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
KachalovЗнаю, что многие компании специализирующиеся на хостинге игнорируют бэкапы годами и вспоминают о них только когда RAID деградирует и резко снижается производительность. Но и это не самая страшная проблема. А вот восстановление данных из бэкапа - это гарантированный простой, прямо пропорциональный размеру бэкапа. Кроме того бывают такие объемы данных для которых понятие бэкапа неприменимо. глупости любой объем бэкапят, хоть на ленту хоть на диск, бэкапы - это не технический вопрос а организационный данные важны? значит бэкап. не так важны? ну и забьем че там у хостеров? логи посещений? а что в банках? твои денюжки ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 07:34 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
TsyklopНо все же. Если оперировать терминами RPO и RTO, то при хранении файлов на ФС можно выжать лучшие показатели при меньших расходах. Bottom line такой: когда надо записать файл, генерируем для него айдишник (long например), каждый октет, кроме последнего, определяет каталог ФС, последний - имя файла, в итоге все пути получаются уникальные и в каждом каталоге не особо много файлов получается (до 256), записываем файл на ФС, записываем информацию о файле в базу, коммитим транзакцию. Нужно обновить файл? Создаем новый, а не обновляем старый! То что при таком подходе ФС может уходить вперед от БД (при откатах или восстановлениях БД) - ничего страшного в этом нет, к потеряшкам все равно никто обращаться не будет (нет записей в БД) - делаем фоновое задание, которое будет удалять потеряшки и все. Нужно время бэкапа уменьшить? Ок, создаем несколько каталогов для хранения файлов, для каждого отдельный пул идентификаторов в базе, один из них помечаем активным - куда будет идти запись новых файлов, как только переключились с одного каталога на другой переключаем старый в RO, делаем ему последний бэкап и перестаем бекапить вообще. Нужно что-то еще более продвинутое? Впихиваем гибридную ФС, которая сама будет старье куда-нибудь на ленту сливать, а то к чему недавно обращались держать на ФС, либо колхозим временное хранение в BLOB/BFILE и слитие в ФС. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 08:19 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Хранить надо в одном месте, чтобы не мучиться с синхронизацией. То есть, в базе, если кроме файлов в базе есть еще какие-то данные. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 09:56 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
казинаклюбой объем бэкапят, хоть на ленту хоть на диск,только гемору разное количество. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 10:58 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Можно сколько угодно рассуждать о том, где их можно хранить, но без четкой задачи дать однозначный ответ никто не сможет. ТС`у может файлы по 100 гигов надо хранить. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 11:10 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Hett, +1 Это напоминает: авторДесктоп или веб? Что лучше? Подскажите пожалуйста как лучше сделать? Любые файлы программы, не только картинки игрушки. Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д. Но все же. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 11:45 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
казинакглупости любой объем бэкапят, хоть на ленту хоть на диск, бэкапы - это не технический вопрос а организационный - ну-ну: Архив Интернета - по состоянию на октябрь 2016 года — 15 петабайт казинакче там у хостеров? логи посещений? а что в банках? твои денюжки - у хостеров сайты и данные клиентов, которые за свои данные и простой норовят содрать втридорога ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2018, 13:05 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Хитрый Tsyklop хочет получить сразу ответы - но их нет. Более того - он не хочет отвечать по нагрузке, размеру файлов и т.п. Это невежливо. Эта задача - суть матрица стратегий. Если ее нарисовать табличкой Хранение файлов в файловой системеХранение файлов в БДУдальная стоимость хранения 1ГбПропускная способность (мб/сек)Наличие hot backup (и здесь можно написать еще около 100 пунктов) то у нас - будет вектор параметров которые можно как-то сравнивать с задачей и что-то там решать на архитектурном уровне. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2018, 13:22 |
|
|
start [/forum/topic.php?fid=59&msg=39673698&tid=2121900]: |
0ms |
get settings: |
11ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
62ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
71ms |
get tp. blocked users: |
3ms |
others: | 343ms |
total: | 530ms |
0 / 0 |