|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Подскажите пожалуйста как лучше сделать? Любые файлы, не только картинки. Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д. Но все же. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.07.2018, 17:09 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Tsyklop, Поиск по темам. Оракл хранит в бд как файлы вне в бд. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.07.2018, 17:23 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Можно еще какой-нибудь openstack swift взять. Смотря для чего. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.07.2018, 18:32 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
TsyklopДа, я понимаю что это зависит именно от проекта, от нагрузки и т.д.MSSQL умеет FILESTREM/FILETABLE, в нём можно и в базе. MySQL такого, кажется, ещё не умеет. Это зависит не только от нагрузки, но и от базы. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 09:44 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Tsyklop, В общем случае лучше на файловой системе. В частном, надо смотреть какая БД, какая предполагается загрузка, какой размер файлов и т.д. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 12:01 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
TsyklopПодскажите пожалуйста как лучше сделать? Любые файлы, не только картинки. Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д. Но все же. Как альтернатива файлы можно хранить в Amazon S3 и Firebase. С уважением, Валентин ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 12:21 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
mad_nazgulВ общем случае лучше на файловой системе. В частном, надо смотреть какая БД, какая предполагается загрузка, какой размер файлов и т.д.склоняюсь к хранению в файловой системе - бэкап делается простым копированием файлов. бэкап же базы - дело специфическое , и если файлов много - база получается очень большой и время вэкапа возрастает. если файлы - то и просмотр возможен без базы субд ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 12:29 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
TsyklopПодскажите пожалуйста как лучше сделать? Любые файлы, не только картинки. Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д. Но все же. Классика всё же- хранение в БД ссылки на доступное app-серверу хранилище файлов. Ну или hdfs, кстати. Три копии, читать с любого места, можно потом хоть spark запускать. Единственное- не любит много файлов в одном каталоге. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 12:39 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
СУБД дает возможность поддержать целостность. 100500 файлов на диске без продвинутых и самописных средств администрирования - это не бэкап, а помойка, где никто никогда не разберется. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 12:53 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Alexey TominКлассика всё же- хранение в БД ссылки на доступное app-серверу хранилище файлов. Никакая это не классика, а один из 2 способов. Слово app-сервер не существует, но про него не спрашивали. mad_nazgulВ общем случае лучше на файловой системе. Уровень аргументации потрясает. PetroОракл хранит в бд как файлы вне в бд. Тоже не угадал. В Oracle есть 2 способа. Вы указали один - объекты типа BFile, хранящие ссылку на файл. Но файлы можно хранить и в BLOB. О чём и спрашивали - что выбирать. Ответ автору темы: тут вам не ответят ввиду нехватки знаний у ораторов. При хранении ссылок на файл, то есть например как BFile в Oracle, следует иметь ввиду недостатки этого способа: - при репликации содержимого базы не подвергается репликации содержимое файлов (средствами СУБД), о нём надо заботиться отдельно. Таким образом, есть дополнительный риск поери данных или несогласованного состояния их. - при изменении содержимого файлов это не отражается в объектах базы. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:02 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevСУБД дает возможность поддержать целостность. - это плюс, все остальное это минусы. Уже сказали: - жирный бэкап (конечно зависит от количества и размера файлов) - не все БД умеют хранить файлы эффективно (хранить их как BLOB - убивать производительность) - любые операции с файлами потребуют дополнительный действий с БД (увеличиваем нагрузку на БД) Leonid Kudryavtsev100500 файлов на диске без продвинутых и самописных средств администрирования - это не бэкап - наличие правильного RAID позволяет долго жить без бэкапирования, но в любом случае, бэкапирование ФС - это хорошо проработанная тема с кучей готовых инструментов и решений ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:11 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Kachalov- наличие правильного RAID позволяет долго жить без бэкапирования, полный бред с таким же успехом, можно купить дорогой жесткий диск и уверять "у меня качественный SSD Intel, мне бэкапы не нужны" правильность RAID и бэкапы - вещь совершенно перпендикулярное. Как сравнивать мягкой и теплое. Kachalovно в любом случае, бэкапирование ФС - это хорошо проработанная тема с кучей готовых инструментов и решений Возможно. Не являюсь специалистов в бэкапирование ФС. Но и бэкапирования базы - тоэе хорошо проработанная тема с кучей готовых инструментов и решений ))) и тоже проблемой не является А вот вопрос, насколько СИНХРОННОЕ бэкапирование ФС и БД - является проработанно схемой и какие Вы знаете для этого бесплатные инструменты? Как пример. Произошла авария. Потеряны данные на диске за последний день. Какой инструмент бэкапирования ФС выдаст список товаров, от которых потерялись фотки. Или, например, для музейной системы обслуживающую полиграфическую деятельность, список предметов для последних издаваемых каталога, где частично потерялись обработанные дизайнером файлы из издательства в другой стране (т.е. ценность файлов достаточно высока, до тысячь долларов за файл: отослать картину за границу + страховка + спецтранспорт до аэропорта, профессиональная сьемка /100-300$ за слайд/, обработка слайда дизайнером издательства /сканирование, обрезка, цветокоррекция/) ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:27 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Kachalov- жирный бэкап (конечно зависит от количества и размера файлов)имел дело с системой хранящей файлы в базе - как таковых данных не много , но весь бэкап -больше 14гиг и растёт. как-то не в радость делать такой постоянно. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:30 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevА вот вопрос, насколько СИНХРОННОЕ бэкапирование ФС и БД - является проработанно схемой и какие Вы знаете для этого бесплатные инструменты?у seagate есть бесплатные , поставляемые с их внешними дисками - делают бэкап файлов налету. и как бы файл не был большим он всегда меньше файла базы данный - и достаточно в бэкап добавлять только новые файлы - что быстрее. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:36 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsevполный бред с таким же успехом, можно купить дорогой жесткий диск и уверять "у меня качественный SSD Intel, мне бэкапы не нужны" правильность RAID и бэкапы - вещь совершенно перпендикулярное. Как сравнивать мягкой и теплое. - да, насчет того что RAID и бэкап перпендикулярны, согласен, так ведь я и написал "RAID позволяет долго жить без бэкапирования", так что "полного бреда" в своем тезисе не наблюдаю. Знаю, что многие компании специализирующиеся на хостинге игнорируют бэкапы годами и вспоминают о них только когда RAID деградирует и резко снижается производительность. Но и это не самая страшная проблема. А вот восстановление данных из бэкапа - это гарантированный простой, прямо пропорциональный размеру бэкапа. Кроме того бывают такие объемы данных для которых понятие бэкапа неприменимо. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:45 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Partisan MТоже не угадал. В Oracle есть 2 способа. Вы указали один - объекты типа BFile, хранящие ссылку на файл. Но файлы можно хранить и в BLOB. О чём и спрашивали - что выбирать.у тебя трудности со чтением? Я указал альтернативу хранеия в блоб. Т.е. ссылка на файл в бд. Обзор и недостатки писать, у меня ты есть. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2018, 13:51 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevВозможно. Не являюсь специалистов в бэкапирование ФС. Но и бэкапирования базы - тоэе хорошо проработанная тема с кучей готовых инструментов и решений ))) и тоже проблемой не является А вот вопрос, насколько СИНХРОННОЕ бэкапирование ФС и БД - является проработанно схемой и какие Вы знаете для этого бесплатные инструменты? да нет никакого синхронного бэкапа, файлуха и бд сами по себе после аварии надо восстанавливаться на момент до падения база это сделает за счет архивлогов а фс только на момент последнего фулл или инкр бэкапа дельта по файлам, с момента бэкапа до аварии потеряется есть правда фс с полным журналированием, типа zfs у вас она стоит? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 07:27 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
KachalovЗнаю, что многие компании специализирующиеся на хостинге игнорируют бэкапы годами и вспоминают о них только когда RAID деградирует и резко снижается производительность. Но и это не самая страшная проблема. А вот восстановление данных из бэкапа - это гарантированный простой, прямо пропорциональный размеру бэкапа. Кроме того бывают такие объемы данных для которых понятие бэкапа неприменимо. глупости любой объем бэкапят, хоть на ленту хоть на диск, бэкапы - это не технический вопрос а организационный данные важны? значит бэкап. не так важны? ну и забьем че там у хостеров? логи посещений? а что в банках? твои денюжки ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 07:34 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
TsyklopНо все же. Если оперировать терминами RPO и RTO, то при хранении файлов на ФС можно выжать лучшие показатели при меньших расходах. Bottom line такой: когда надо записать файл, генерируем для него айдишник (long например), каждый октет, кроме последнего, определяет каталог ФС, последний - имя файла, в итоге все пути получаются уникальные и в каждом каталоге не особо много файлов получается (до 256), записываем файл на ФС, записываем информацию о файле в базу, коммитим транзакцию. Нужно обновить файл? Создаем новый, а не обновляем старый! То что при таком подходе ФС может уходить вперед от БД (при откатах или восстановлениях БД) - ничего страшного в этом нет, к потеряшкам все равно никто обращаться не будет (нет записей в БД) - делаем фоновое задание, которое будет удалять потеряшки и все. Нужно время бэкапа уменьшить? Ок, создаем несколько каталогов для хранения файлов, для каждого отдельный пул идентификаторов в базе, один из них помечаем активным - куда будет идти запись новых файлов, как только переключились с одного каталога на другой переключаем старый в RO, делаем ему последний бэкап и перестаем бекапить вообще. Нужно что-то еще более продвинутое? Впихиваем гибридную ФС, которая сама будет старье куда-нибудь на ленту сливать, а то к чему недавно обращались держать на ФС, либо колхозим временное хранение в BLOB/BFILE и слитие в ФС. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 08:19 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Хранить надо в одном месте, чтобы не мучиться с синхронизацией. То есть, в базе, если кроме файлов в базе есть еще какие-то данные. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 09:56 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
казинаклюбой объем бэкапят, хоть на ленту хоть на диск,только гемору разное количество. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 10:58 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Можно сколько угодно рассуждать о том, где их можно хранить, но без четкой задачи дать однозначный ответ никто не сможет. ТС`у может файлы по 100 гигов надо хранить. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 11:10 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Hett, +1 Это напоминает: авторДесктоп или веб? Что лучше? Подскажите пожалуйста как лучше сделать? Любые файлы программы, не только картинки игрушки. Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д. Но все же. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2018, 11:45 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
казинакглупости любой объем бэкапят, хоть на ленту хоть на диск, бэкапы - это не технический вопрос а организационный - ну-ну: Архив Интернета - по состоянию на октябрь 2016 года — 15 петабайт казинакче там у хостеров? логи посещений? а что в банках? твои денюжки - у хостеров сайты и данные клиентов, которые за свои данные и простой норовят содрать втридорога ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2018, 13:05 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Хитрый Tsyklop хочет получить сразу ответы - но их нет. Более того - он не хочет отвечать по нагрузке, размеру файлов и т.п. Это невежливо. Эта задача - суть матрица стратегий. Если ее нарисовать табличкой Хранение файлов в файловой системеХранение файлов в БДУдальная стоимость хранения 1ГбПропускная способность (мб/сек)Наличие hot backup (и здесь можно написать еще около 100 пунктов) то у нас - будет вектор параметров которые можно как-то сравнивать с задачей и что-то там решать на архитектурном уровне. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2018, 13:22 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
maytonХитрый Tsyklop хочет получить сразу ответы - но их нет. Более того - он не хочет отвечать по нагрузке, размеру файлов и т.п. Это невежливо. Эта задача - суть матрица стратегий. Если ее нарисовать табличкой Хранение файлов в файловой системеХранение файлов в БДУдальная стоимость хранения 1ГбПропускная способность (мб/сек)Наличие hot backup (и здесь можно написать еще около 100 пунктов) то у нас - будет вектор параметров которые можно как-то сравнивать с задачей и что-то там решать на архитектурном уровне. не отвечаю ибо спрашиваю вообще, а не за конкретный проект. Размер файлов любой. И то если брать проект, то по началу нагрузки не будет ибо он будет развиваться, но потом возрастет. Это тоже надо учитывать. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2018, 17:01 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
За СУБД: 1. СУБД поддерживает логическую целостность данных + транзакции (начали добавлять 100500 файлов в транзакции, посередине произошла ошибка, с диска мусор удалять не нужно, СУБД сама rollback сделает) 2. Единый протокол на доступ к данным и файлам - например для нас это было критично. Есть СУБД Oracle в другом городе, до нее специально проброщен маршрут на порты SQL*NET через роутеры. Доступа к серверу по другим протоколам просто нет. 3. Единая настройка безопасность доступа к данным и к файлам (пользователи, пароли, роли СУБД) За хранение отдельно 1. Ниже стоимость хранения (СУБД удовольствие не бесплатное) 2. Потенциально достижимые более высокие скорости доступа к файлам, т.к. протоколы СУБД все же не достаточно оптимизированы на работу в этом режиме (например протоколы передача файлов на 10G Ethernet в Windows могут работать напрямую через DMA память одного компьютера - сетевая карта - память другого компьютера, СУБД разумеется так не умеют) 3. На начальном этапе разработки, при отсутвие квалифицированных разработчиков, это может оказаться более простым решением, чем работа с BLOB'ами Против хранения отдельно: 1. Выше стоимость администрирования. Выше вероятность логической ошибки в данных. Логическую целостность данных нужно поддерживать руками и затратой времени админа + каким-то специальным софтом (искать расхождения между ФС и СУБД. Потерянные/запорченные файлы, лишние файлы/мусор). AFAIK ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2018, 17:19 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev, Спасибо за ответ. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2018, 17:23 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevЗа СУБД: 1. СУБД поддерживает логическую целостность данных + транзакции (начали добавлять 100500 файлов в транзакции, посередине произошла ошибка, с диска мусор удалять не нужно, СУБД сама rollback сделает)Давайте поправлю: СУБД сама **за пару часов** rollback сделает Хранить файлы в базе можно себе позволить разве что в случае маленького приложения, с небольшим количеством негеораспределенных пользователей. Как только пользаков становится много получаем треш и угар: пока пользователь тянет файл он держит сессию в базе (ну есть варианты типа закачивать файл в память и отдавать, или во временную директорию, но зачем?), т.е. ресурсы базы используем крайне неоптимально что делать в случае гео-распределенных пользователей вообще непонятно (ну т.е. понятно что нужно городить колхоз, но зачем?) Leonid Kudryavtsev3. Единая настройка безопасность доступа к данным и к файлам (пользователи, пароли, роли СУБД) Вы, на мой взгляд, слишком увлеклись Кайтом , какая к черту безопасность? файлами владеет приложение и больше никто туда не суется, или вы по ftp файлы собрались расшаривать? Единое что-то означает единые ресурсы, а это гвоздь в гробу масштабирования. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2018, 18:01 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Tsyklopне отвечаю ибо спрашиваю вообще, а не за конкретный проект. Размер файлов любой. И то если брать проект, то по началу нагрузки не будет ибо он будет развиваться, но потом возрастет. Это тоже надо учитывать. Концептуально. Любая реляционная БД (исторически) проектировалась как механизм обслуживающий данные в таблицах в 1-2-3 НФ. И для того чтобы этот механизм работал эффективно (buffer pool), надо чтобы атомы которые хранятся в таблицах были не очень большого размера. 1-НФ кстати требует чтоб в ячейках лежали атомы. Можно-ли файл считать атомом? Сложный вопрос. Я считаю что в общем случае нельзя. Если это текст или XML документ - то его поля могут модифицироваться независимо. Тоесть поверх РМД у нас есть еще другая модель внутри поля где мы также что-то модифицируем. Налицо - отсутствие 1-НФ. А это ставит под вопрос вообще коцепцию. Зачем мы берем реляционку если там все равно правила проектирования уже нарушены. По лимитам и перформансу. В БД Oracle к примеру существуют серъезные ограничения на длину строки. Не более 4К. Эти ограничения как-бы подталкивают разработчика к обдумывание типов данных перед тем как создать таблицу. Вообще очень длинные строки плохо обслуживаются в РМД. Даже элементарный LIKE или сортировка или comparison по большим строкам могут серъезно подрубить перформанс. И пока вы будете копаться в оптимизаторе или еще где-то ваш владелец ПО и пользователи будут терпеть непонятные падения перформанса на "пустом" месте. И здесь любой DBA вам скажет что первым делом для устранения этой проблемы надо устранить сами BLOBS. Иначе перформанса не будет со всеми вытекающими. Потеря репутации. Недовольство заказчика. Вобщем нужно беречь и ценить buffer-pool и исключать туда попадания блоков которые просто заполнены картинками или прочими файлами. Поэтому если вы решили перенести файлы (объекты не имеющие априори ограничений) в вашу БД - вы должны понимать что наряду с быстрой SQL-машиной и SQL-сетевым протоколом который оптимизирован на маленькие строчки (атомы в рамках модели) вы "включите в игру" огромные длинные бинарные объекты которые участвуют в буферном кешировании (store blob in row), либо не участвуют но при этом поиск по ним замедлен из-за того что нет физической консолидации прочитанного блока с нужными вам данными и собственно файла или BLOB. Архитектурно во многих DBMS BLOB реализован как аттачмент. Он хранится отдельно от таблички. JDBC-API видит его как InputStream. К сожалению многие ORM средства создают дополнительную услугу. (Медвежью услугу). Они презентуют BLOB как строковую переменную. Создаётся иллюзия что всё нормально. Но на самом деле на уровне Fetch курсора потребуется сборка его частей из разных физических сегментов. Здесь нужно думать о lazy-операциях или лучше переписать логику вообще. По этому таблички с BLOB - медленные по определению. Если вам нужен перформанс - BLOB - не ваш друг. Ищите альтернатив. Вобщем лучше в табличку вынести ID файла. Или путь файла. Вариантов у разработчика всегда много. И переписать приложение таким образом чтобы реляционные данные лежали в базе а аттачмент (картика или еще что-то) лежали на файловых ресурсах (Amazon e.t.c.) или на ваших файловых ресурсах веб-сервера. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2018, 18:01 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Tsyklop, И всё же нет ответа на вопрос, так как нет требований Подойдёт любое решение из этих: - БД - FS - DFS - Cloud solution какие либо +/- и обсуждение их в целом не имеют смысла. Вот есть у меня такая ссылка может она поможет https://cloud.google.com/storage-options/ ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2018, 19:14 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Oracle dbfs ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2018, 21:46 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
TsyklopРазмер файлов любой.аватарка 16х16 пикселей? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.07.2018, 08:36 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Petro123аватарка 16х16 пикселей? дело юзера. Хочет такую - пущай. его дело. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.07.2018, 10:16 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
TsyklopPetro123аватарка 16х16 пикселей? дело юзера. Хочет такую - пущай. его дело. Нет. Ограничения всегда есть. Поэтому для аватарок храни в модели, а модель хибера в базе. И думать нефиг. Для документооборота, модели программ СЭД открой другой топик и не морочь голову людям. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.07.2018, 11:32 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
maytonВобщем нужно беречь и ценить buffer-pool и исключать туда попадания блоков которые просто заполнены картинками или прочими файлами. nocache ... |
|||
:
Нравится:
Не нравится:
|
|||
16.07.2018, 11:55 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
казинакmaytonВобщем нужно беречь и ценить buffer-pool и исключать туда попадания блоков которые просто заполнены картинками или прочими файлами. nocache Depends on storage in row. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.07.2018, 13:37 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Tsyklop..Но все же. всё же зависит от условий. например на серваках типа AS400 - вообще нет понятия ФАЙЛ или ФС от слова СОВСЕМ НЕТ. Сервер БД. Как хошь так и воспринимай... есть например всякие кластеры, автоматическое перераспределение данных, их зеркалирование и т.д.. есть собственно SQL или наоборот NoSQL бд - свои замороты. нагрузившись всем этим = железо, софт, перспективы, нагрузка, что пишем, для кого пишем и делается подобные решения. удачи вам (круглый) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 10:31 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
kolobok0например на серваках типа AS400 - вообще нет понятия ФАЙЛ или ФС от слова СОВСЕМ НЕТ. - наверное перепутали AS/400 и OS/400? OS/400 has multiple file systems. To help integrate these multiple file systems with the PC environment, the Integrated File System, or IFS, was created. The Integrated File System is a part of OS/400 that lets you support stream input/output and storage management in a way similar to personal computer and UNIX operating systems, while providing you with an integrating structure over all information stored in the AS/400. It allows for UNIX-style directories and file names. It has a root / directory and multiple levels of directories. It is identical in architecture to a PC file system except that it uses the forward slash as a delimiter ( / ) instead of the backslash ( \ ) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 11:22 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Kachalov...наверное... железка AS400. Ось OS400. В чём путаность? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 11:41 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Андрей Панфиловпока пользователь тянет файл он держит сессию в базе "Держит сессию" - такая проблема мне вообще не понятна. СУБД для этого и созданы. Как только пользователь начинает работать, он что либо держит. Тут только одно решение - сослать всех пользователей на соловки. Нет пользователей - нет проблем ))) Андрей Панфиловт.е. ресурсы базы используем крайне неоптимально Да. Стоимость хранения выше. Вопрос только в бюджете. У нас файлы в системе биллинга хранятся, объем не знаю, подозреваю терабайты. Никого это не напрегает, даже админов ))), хотя они вечно на отсутствие места жалуются ))). Андрей Панфиловчто делать в случае гео-распределенных пользователей вообще непонятно Гео-распределенный, не гео-распределенный. Какая разница? Если есть нормальный канал связи. Кроме того, вендоры СУБД вполне в гео-распределение ударились. Буковка "g" на конце Oracle'а - grid. Андрей Панфиловили вы по ftp файлы собрались расшаривать? В корпоративной сети - просто Windows шара ))) Какой такой ftp ? ))) В Энтерпрайз юзеры таких слов даже не знают ))) В ЦЕЛОМ: Вопрос исключительно бюджета и функциональности. Хочется удобств "из коробки" - нужно платить. Хочется freeware - нужны прямые руки, умеющие владеть напильником. Например ( http://www.kamis.ru/), хоть и не богатые пользователи, но сделав хранение в базе, от хранения на диске просто отказались. Т.к. переодически поднимаемые тучки стружки от напильника - сильно мешали жить. А при over 100 установок у заказчиков, разбираться почему в ФС какой-то мусор и откуда он взялся, нафиг не нужно. (файлы - изображения высокого разрешения /например Музеи Кремля/, 10-50 Mb JTIP /Jpeg Tailed Piramidales/) https://collectiononline.kreml.ru/iss2/items?info=63453&sa-fund=2766593 ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 12:01 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevБуковка "g" на конце Oracle'а - grid.это точно ))) +1 ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 12:32 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
kolobok0железка AS400. Ось OS400. В чём путаность? - железо про ФС ничего знать не должно, диски в AS/400 есть? а ФС это тема из ОС, в данном случае OS/400 (и, читая цитату, можно увидеть что представление ФС в традиционном *NIX виде, в это ОС есть) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 15:37 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid KudryavtsevВопрос только в бюджете. - вот за это не любят Java-программистов. Жалко что тень падает на всех. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 15:40 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
KachalovLeonid KudryavtsevВопрос только в бюджете. - вот за это не любят Java-программистов. Жалко что тень падает на всех. А при чем тут вообще Java ? Есть сервер, куплен Oracle, ресурсы достаточные.... Вот нафига е....ть мозг себе, админам и начальству, пытаясь изобразить какой-то самопал на файлах, если все замечательно ложится в базу данных и никого не напрягает? Вопрос цены он относительный. И для разных проектов/ситуаций совершенно различный. Вот я в базе запросто могу 100500 записей в табличку заинсертить, а получить место на ФС - фиг Т.ч. если я пойду к начальству и скажу, мне надо 100 Gb места в базе - вопрос решится за 5 мин, админ просто посмотрит, есть оно или нет. А если захочу 100 Gb места в файловой системе - вопрос погрязнет в бюрократических процедурах на пару месяцев..... Дабы место на дисках (и бекапом) занимаются совершенно другие люди, которые за это могут чего-то захотеть ))) А уж каким образом к этим файлам на ФС мне открыть доступ (шара, ftp) - тут вообще будет тушите свет, т.к. еще и отдел безопасности может встрять. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 15:56 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
А если не 100Гб, а 100Тб? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 17:07 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
HettА если не 100Гб, а 100Тб? ну так мы приходим к тому, что если бы у бабушки.... и далее по заветам нашего президента ))) Тогда Oracle ExaData. Соберетесь покупать, я Вам продам ))) по крайне мере себе старость обеспечу ))) Как я понимаю, Exadata Database Machine X3-2 Full Rack включает 14 Storage Server, каждый по 12 дисков (168 дисков всего), если по 600 Gb . 14 x 12 x 600 = 100 800 Gb. как раз хватит ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 17:36 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Товарищ верно заметил надо учесть фактор бюрократии. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 18:48 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsevесли я пойду к начальству и скажу, мне надо 100 Gb места в базе - вопрос решится за 5 мин, админ просто посмотрит, есть оно или нет.а потом окажется надо ещё 400Gb для бэкапа.... и начальство будет радоваться.... и для бэкапа надо время серверу.... ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 19:40 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Время сервера - не очень понятно. Они вообще-то в online обычно бекапируются. Только изменение (redo log'и) p.s. посмотрел статистику 2.5 GB LOB'ов 1.5 GB прочих На резервные инстанцы и слепки (test), таблеспейс с LOB'ы не перетаскивают, там только чисто данные. p.p.s. это только одна из продакшен баз (но наверное самая важная), есть еще и парочка OeBS'ов ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 20:08 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
В сети дисковая шара из 5 M$ DFS серверов - вот она __очень__ часто глючит. Когда на одном сервере файл обновился, а на другие сервера нифига ничего не зареплицировалось. Пару месяцев назад, вообще приятно, дата/время/размер у всех файлов на всех серверах совпадает, но на 4-х серверах работает, а на одном - ошибка. Потом выяснилось, что Касперский помог, на одном из серверов под админскими правами одну из шар полечил ((( Мало того, что данные рассинхронизировались, но даже время/дата у попорченного файла (DLL) осталась прежней (а содержимое изменилось) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 20:15 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsevпосмотрел статистику 2.5 GB LOB'ов 1.5 GB прочихэто мелочь, у меня база в zip >15 Gb...с файлам-картинками. как бы мало приятного. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 20:30 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
по мне так в случае чего при дисковой ошибке - дешевле потерять один или несколько файлов, чем эта ошибка повредит один большой файл бэкапа. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 20:35 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
у меня есть проект где файлы лежат отдельно - на рабочем сервере, для разработки мне не надо иметь у себя весь набор этих файлов, сама база не настолько велика чтоб её перенести было проблемно. для клиентов мне не надо считывать файлы в память, сохранять на диск (в случае хранения в базе) я просто подцепляю ссылку и картинка отображается у клиента в браузере. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 20:42 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsevp.s. посмотрел статистику 2.5 GB LOB'ов 1.5 GB прочих Ну и нафига я со своими 50Tb и пользователям от Калининграда до Сахалина здесь вообще распинался? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 20:45 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
вадяLeonid Kudryavtsevпосмотрел статистику 2.5 GB LOB'ов 1.5 GB прочихэто мелочь, у меня база в zip >15 Gb...с файлам-картинками. как бы мало приятного. Мы толстые бэкапы баз архивировали в своё время WinRAR-ом в multivolume, с кодами восстановления. Это здорово помогало когда в середике "битый" архив попадался. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2018, 22:43 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
maytonМы толстые бэкапы баз архивировали в своё время WinRAR-ом в multivolume, с кодами восстановления. Это здорово помогало когда в середике "битый" архив попадался.сделать бэкап и ещё архивировать.... ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2018, 03:33 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2018, 10:33 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
вадяLeonid Kudryavtsevпосмотрел статистику 2.5 GB LOB'ов 1.5 GB прочихэто мелочь, у меня база в zip >15 Gb...с файлам-картинками. как бы мало приятного. опечатка. Разумеется Tb. На 3 порядка ошибся. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2018, 14:49 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsevопечатка))))) ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2018, 15:35 |
|
Хранение файлов в бд или в файловой системе?
|
|||
---|---|---|---|
#18+
вадяmaytonМы толстые бэкапы баз архивировали в своё время WinRAR-ом в multivolume, с кодами восстановления. Это здорово помогало когда в середике "битый" архив попадался.сделать бэкап и ещё архивировать.... Oracle 9i для windows. Мы мигрировали большой объем в новый датацентр. Штатная утилита не добавляла кодов хемминга поэтому мы приспособили winrar с кучей опций. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.07.2018, 19:26 |
|
|
start [/forum/topic.php?all=1&fid=59&tid=2121900]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
65ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
79ms |
get tp. blocked users: |
2ms |
others: | 311ms |
total: | 502ms |
0 / 0 |