powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Выбор технологии кеширования
25 сообщений из 124, страница 2 из 5
Выбор технологии кеширования
    #39785974
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОзверинPetro123Делайте для всех доков превью в jpeg 60 DPI.
Это статика, и загрузится сразу и мгновенно.

Андрей Панфилов храниться не в каком-то кеше, а в вместе с остальными файлами/метаданными, и генерироваться (и сохраняться) либо по запросу, либо после сохранения основного документа.

если нагрузка вас уже беспокоить, то вам следует прислушаться к господам.

Нагрузка не то, чтобы беспокоит сейчас уже, я просто предвижу эту проблему. Хранить pdf в основном хранилище рядом с оригинальными аттачами - да, мы так делаем для некоторых кастомеров. Но не для всех подходит, потому что либо из-за user specific watermarks (каждому пользователю отдается модифицированный аттач), либо кастомеры не хотят платить за место в storage за прекеш данные. Вообщем идея в таком light weight кеше в памяти "здесь и сейчас" для маленьких аттачей (настраивается размер).
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39785976
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterРедактировать нет, но вот листать колесиком мышки страницы, зумить, копировать текст - look and feel намного приятнее чем если тебе дают картинку понюхать.согласен.
Тогда давайте юз кейс с цифрами.
Зашел на страничку и все ссылки страницы начали на сервере конверт в pdf?
Или как?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39785993
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123rabiterРедактировать нет, но вот листать колесиком мышки страницы, зумить, копировать текст - look and feel намного приятнее чем если тебе дают картинку понюхать.согласен.
Тогда давайте юз кейс с цифрами.
Зашел на страничку и все ссылки страницы начали на сервере конверт в pdf?
Или как?

Да зависит от кастомера... Ну вообще вот перед тобой табличка, в табличке документы, у каждого документа несколько аттачей. Пользователь кликает на документ, появляется окошко с метаданными документа и список его аттачей, первый аттач выбирается автоматически и показывается его превью. Пользователь выбирает второй аттач - опять конвертация, опять превью. Это как работает пока. Надо чтобы определенное число аттачей (настраиваемая велечина), конвертировалось сразу при открытии документа. Так что пока пользователь работает с первым аттачем, остальные уже на подходе. Это реальзый use case от одного из кастомеров. Причем если осталось место для прикеша, то начинаем автоматом конвертировать и кешировать уже аттачи из следующего документа в списке.
Вообще я думаю тут должна быть настраиваемся предсказательная стратегия того, какой аттач пользователь откроет следующим, но это все пока не приоритет.

Вообщем я в принципе определился. Для кеша - ehcache (только heap tier). С offheap и disk я думаю потом можем проблемы огрести, потому что там уже надо будет более индивидуально подходить к каждому кастомеру в плане настроек offheap и disk tiers.
Ну и будет один поток на пользователя, который будет последовательно аттачи конвертировать и добавлять в кеш. И да, пока для каждого пользователя будет свой экземпляр кеша. Пусть пока так, дальше посмотрим.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39785998
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiter, nginx используете?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786024
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiter,
И эта вся бодяга т.к. кастомер не имеет памяти в хранилище для превью?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786026
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterПользователь выбирает второй аттач - опять конвертация, опять превью.то есть либо купить терабайт для превью, либо писать код.
Так?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786027
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonrabiter, nginx используете?

Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786028
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiter,
Размер обычных аттачей и время что ждет юзверь?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786037
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterлибо кастомеры не хотят платить за место в storageпусть ждут раз не платят. Нефиг)))
Ну, или сделайте отдельный rest http сервис с превью.
Как платная опция.
Заплатил, будет летать. Нет - терпи генерацию превью.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786039
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabitermaytonrabiter, nginx используете?

Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?кешировать можно готовое.
А у вас нет готовых превью.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786041
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123rabiter,
И эта вся бодяга т.к. кастомер не имеет памяти в хранилище для превью?

Petro123rabiterПользователь выбирает второй аттач - опять конвертация, опять превью.то есть либо купить терабайт для превью, либо писать код.
Так?

Вообще я согласен с Вами. Первое о чем я подумал, какого черта, какой-то непонятный кеш на уровне приложения, мелко мыслим! Предложил начальству хранить сконвертированный pdf рядом в том же архиве с оригинальным аттачем. Выяснилось, что для некоторых кастомеров это уже реализовано на уровне rendition. Ну, короче, не буду вдаваться в детали, все же нужен такой легковесный настраиваемый кеш / прикеш. Относимся к нему как к этакому light подспорью.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786043
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123rabiterпропущено...


Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?кешировать можно готовое.
А у вас нет готовых превью.

Вот, в том-то и дело
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786051
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123rabiter,
Размер обычных аттачей и время что ждет юзверь?

Нет у меня данных, слава богу, я далеко от суппорта и кастомеров.

Petro123rabiterлибо кастомеры не хотят платить за место в storageпусть ждут раз не платят. Нефиг)))
Ну, или сделайте отдельный rest http сервис с превью.
Как платная опция.
Заплатил, будет летать. Нет - терпи генерацию превью.

это тема, кстати. Я возьму это на заметку, спасибо! Я имею ввиду вообще выделить эту опцию прикеша в отдельный модуль. Хочешь - на, не хочешь - убираем модуль из сборки, отключается прикеш.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786056
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterвыделить эту опцию прикеша в отдельный модуль.да.
Даже не модуль, а сервис с другой машины.
Как пример сервиса WMS.
Но имейте ввиду, что возможно на вас просто ездят за дешево.
Нужны цифры.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786057
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabitermaytonrabiter, nginx используете?

Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?
Да. На сайте nginx есть шаблоны готовых конфигураций кешей. Наиболее правильно - вынести
вест статик-контент от аппликейшена. И для картинок задать там время жизни в 1h - уже хоршо
снизит нагрузку.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786059
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786062
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вообще, не понимаю.
Оригинал ворд документа весит 100мегов
Превью 60 DPI наверно будет 10 килобайт.
Нет места?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786069
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786142
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterИ опять же, действительно, у некоторых кастомеров бывают user specific watermarks, так что получается user specific кеш должен быть.Смысла нет в таком кеше. Здесь дорогая операция - это перевести документ какого-либо формата в pdf, а вот навестить на pdf водяные знаки - относительно дешево.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786148
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей ПанфиловrabiterИ опять же, действительно, у некоторых кастомеров бывают user specific watermarks, так что получается user specific кеш должен быть.Смысла нет в таком кеше. Здесь дорогая операция - это перевести документ какого-либо формата в pdf, а вот навестить на pdf водяные знаки - относительно дешево.
Я-бы не стал спешить пока у нас не будет цифр.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786340
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

Все, я сделяль, осталось причесать. А цифр не будет. Я вообще-то в целом с вами согласен, нелепая таска. Я бы кешировал так кешировал по взрослому, в архиве, отдельной джобой. Но я не могу драйвить такие решения.
Кстати, ehcache клевый, особенно его read through пригодилась.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786881
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Покажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786909
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonПокажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры.
- наверняка там еще показывать нечего, прикинули хрен к носу и решили что надо в память файлы кэшировать, а когда память кончится тогда начнут считать
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786920
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonПокажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры.

кеш только в хипе, по количеству entries - настраивается индивидуально через админку для каждого документного типа - админ кастомера может вообще поставить 0 и отключить, если надо. Вообще ходовое значения, я думаю, будет что-то в районе 5 сущностей на пользователя. Кеш не глобальный, SessionScoped, т.е. для каждого пользователя. Пользователей много одновременных не бывает (до 1000 одновременных). Размер аттачей, для которых превью отключается, тоже настраивается через админку индивидуально для каждого документного типа.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786921
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KachalovmaytonПокажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры.
- наверняка там еще показывать нечего, прикинули хрен к носу и решили что надо в память файлы кэшировать, а когда память кончится тогда начнут считать

Да, именно так как вы сказали, и даже хуже
...
Рейтинг: 0 / 0
25 сообщений из 124, страница 2 из 5
Форумы / Java [игнор отключен] [закрыт для гостей] / Выбор технологии кеширования
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]