powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Upload больших файлов в БД
8 сообщений из 8, страница 1 из 1
Upload больших файлов в БД
    #38560805
Такая ситуация, надо загружать большие файлы, по 300-500Мб в базу (Hibernate).
Не спрашивайте зачем (я знаю что это не лучший вариант), это не мое решение и поменять тут ничего нельзя.
Хотя бы по техническим причинам. Используются новомодные облака и доступа к файловой системе просто нет.
Опять же, очень прошу, не надо рассказывать про то какие облака плохие или хорошие, не о них речь.
Есть Tomcat и PostgreSQL.
Суть в чем, сейчас при загрузке получается так, что файл сначала полностью закачивается в память и только потом сейвится.
В результате, через какое-то время, томкат отъедает очень много ресурсов.

Собственно вопрос, есть ли возможность аплоадить файл сразу в блоб потоком?
...
Рейтинг: 0 / 0
Upload больших файлов в БД
    #38560827
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Странно, но тут пишут что в последнем хибере всё нормально стримится
http://stackoverflow.com/a/11947063
Вообще кешировать же вы эти данные не будете в Hibernate, поэтому никто не мешает для них завести совершенно отдельные pure JDBC методы.
Новомодные облака это здорово. Но на вашем месте я бы ещё раз хорошенько прикинул ожидаемые размеры и посоветовался с хостером. Потому что, если количество таких блобов со временем растет, базу хорошо бы правильно разбить на партиции и хранить блобы отдельно.
...
Рейтинг: 0 / 0
Upload больших файлов в БД
    #38560835
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ищущий Знанияочень много
Ищущий Знаниячерез какое-то время
конкретнее
...
Рейтинг: 0 / 0
Upload больших файлов в БД
    #38560840
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Blazkowicz,
+1
облака тут совершенно ни при чём
...
Рейтинг: 0 / 0
Upload больших файлов в БД
    #38560850
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ищущий ЗнанияЕсть Tomcat и PostgreSQL.
Суть в чем, сейчас при загрузке получается так, что файл сначала полностью закачивается в память и только потом сейвится.
В результате, через какое-то время, томкат отъедает очень много ресурсов.

Дело же не только в hinernate. Еще вопрос, как в Tomcat'е сервлет параметры принимает IMHO. Нужно смотреть код и разбираться.

64 бит Java, eden по максимому, что бы это файлы в eden всегда помещались (не выталкивались) и наплевать ))) Памяти, что ли жалко )))
...
Рейтинг: 0 / 0
Upload больших файлов в БД
    #38560859
BlazkowiczСтранно, но тут пишут что в последнем хибере всё нормально стримится
http://stackoverflow.com/a/11947063
Что то не увидел там, что с хибернейтом все хорошо. Рекомендуют делать без него через JDBC.

BlazkowiczНовомодные облака это здорово. Но на вашем месте я бы ещё раз хорошенько прикинул ожидаемые размеры и посоветовался с хостером. Потому что, если количество таких блобов со временем растет, базу хорошо бы правильно разбить на партиции и хранить блобы отдельно.
Там не такой и большой то объем... загруженные данные обрабатывают и чистят от старых данных.
Размер БД колеблется порядка 15-25Гб, что не очень то и много.
...
Рейтинг: 0 / 0
Upload больших файлов в БД
    #38560864
Leonid Kudryavtsev64 бит Java, eden по максимому, что бы это файлы в eden всегда помещались (не выталкивались) и наплевать ))) Памяти, что ли жалко )))

В этом и есть проблема. Памяти очень мало и добавлять никто не будет.
...
Рейтинг: 0 / 0
Upload больших файлов в БД
    #38560899
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В сервлете юзаем Apache'вские ServletFileUpload и DiskFileItemFactory и дальше смотрим, как хибер дружит со стримами, если умеет, то проблем не должно быть, если не умеет, то вытаскиваем из него jdbc соединение и делаем вставку сами.
...
Рейтинг: 0 / 0
8 сообщений из 8, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Upload больших файлов в БД
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]