|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
ОзверинPetro123Делайте для всех доков превью в jpeg 60 DPI. Это статика, и загрузится сразу и мгновенно. Андрей Панфилов храниться не в каком-то кеше, а в вместе с остальными файлами/метаданными, и генерироваться (и сохраняться) либо по запросу, либо после сохранения основного документа. если нагрузка вас уже беспокоить, то вам следует прислушаться к господам. Нагрузка не то, чтобы беспокоит сейчас уже, я просто предвижу эту проблему. Хранить pdf в основном хранилище рядом с оригинальными аттачами - да, мы так делаем для некоторых кастомеров. Но не для всех подходит, потому что либо из-за user specific watermarks (каждому пользователю отдается модифицированный аттач), либо кастомеры не хотят платить за место в storage за прекеш данные. Вообщем идея в таком light weight кеше в памяти "здесь и сейчас" для маленьких аттачей (настраивается размер). ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 13:43 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterРедактировать нет, но вот листать колесиком мышки страницы, зумить, копировать текст - look and feel намного приятнее чем если тебе дают картинку понюхать.согласен. Тогда давайте юз кейс с цифрами. Зашел на страничку и все ссылки страницы начали на сервере конверт в pdf? Или как? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 13:44 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123rabiterРедактировать нет, но вот листать колесиком мышки страницы, зумить, копировать текст - look and feel намного приятнее чем если тебе дают картинку понюхать.согласен. Тогда давайте юз кейс с цифрами. Зашел на страничку и все ссылки страницы начали на сервере конверт в pdf? Или как? Да зависит от кастомера... Ну вообще вот перед тобой табличка, в табличке документы, у каждого документа несколько аттачей. Пользователь кликает на документ, появляется окошко с метаданными документа и список его аттачей, первый аттач выбирается автоматически и показывается его превью. Пользователь выбирает второй аттач - опять конвертация, опять превью. Это как работает пока. Надо чтобы определенное число аттачей (настраиваемая велечина), конвертировалось сразу при открытии документа. Так что пока пользователь работает с первым аттачем, остальные уже на подходе. Это реальзый use case от одного из кастомеров. Причем если осталось место для прикеша, то начинаем автоматом конвертировать и кешировать уже аттачи из следующего документа в списке. Вообще я думаю тут должна быть настраиваемся предсказательная стратегия того, какой аттач пользователь откроет следующим, но это все пока не приоритет. Вообщем я в принципе определился. Для кеша - ehcache (только heap tier). С offheap и disk я думаю потом можем проблемы огрести, потому что там уже надо будет более индивидуально подходить к каждому кастомеру в плане настроек offheap и disk tiers. Ну и будет один поток на пользователя, который будет последовательно аттачи конвертировать и добавлять в кеш. И да, пока для каждого пользователя будет свой экземпляр кеша. Пусть пока так, дальше посмотрим. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 13:56 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiter, nginx используете? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:00 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiter, И эта вся бодяга т.к. кастомер не имеет памяти в хранилище для превью? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:18 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterПользователь выбирает второй аттач - опять конвертация, опять превью.то есть либо купить терабайт для превью, либо писать код. Так? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:19 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
maytonrabiter, nginx используете? Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:20 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiter, Размер обычных аттачей и время что ждет юзверь? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:21 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterлибо кастомеры не хотят платить за место в storageпусть ждут раз не платят. Нефиг))) Ну, или сделайте отдельный rest http сервис с превью. Как платная опция. Заплатил, будет летать. Нет - терпи генерацию превью. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:27 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabitermaytonrabiter, nginx используете? Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?кешировать можно готовое. А у вас нет готовых превью. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:28 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123rabiter, И эта вся бодяга т.к. кастомер не имеет памяти в хранилище для превью? Petro123rabiterПользователь выбирает второй аттач - опять конвертация, опять превью.то есть либо купить терабайт для превью, либо писать код. Так? Вообще я согласен с Вами. Первое о чем я подумал, какого черта, какой-то непонятный кеш на уровне приложения, мелко мыслим! Предложил начальству хранить сконвертированный pdf рядом в том же архиве с оригинальным аттачем. Выяснилось, что для некоторых кастомеров это уже реализовано на уровне rendition. Ну, короче, не буду вдаваться в детали, все же нужен такой легковесный настраиваемый кеш / прикеш. Относимся к нему как к этакому light подспорью. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:30 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123rabiterпропущено... Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?кешировать можно готовое. А у вас нет готовых превью. Вот, в том-то и дело ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:31 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123rabiter, Размер обычных аттачей и время что ждет юзверь? Нет у меня данных, слава богу, я далеко от суппорта и кастомеров. Petro123rabiterлибо кастомеры не хотят платить за место в storageпусть ждут раз не платят. Нефиг))) Ну, или сделайте отдельный rest http сервис с превью. Как платная опция. Заплатил, будет летать. Нет - терпи генерацию превью. это тема, кстати. Я возьму это на заметку, спасибо! Я имею ввиду вообще выделить эту опцию прикеша в отдельный модуль. Хочешь - на, не хочешь - убираем модуль из сборки, отключается прикеш. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:35 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterвыделить эту опцию прикеша в отдельный модуль.да. Даже не модуль, а сервис с другой машины. Как пример сервиса WMS. Но имейте ввиду, что возможно на вас просто ездят за дешево. Нужны цифры. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:40 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabitermaytonrabiter, nginx используете? Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом? Да. На сайте nginx есть шаблоны готовых конфигураций кешей. Наиболее правильно - вынести вест статик-контент от аппликейшена. И для картинок задать там время жизни в 1h - уже хоршо снизит нагрузку. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:40 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123WMS https://ru.m.wikipedia.org/wiki/Web_Map_Service ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:42 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Вообще, не понимаю. Оригинал ворд документа весит 100мегов Превью 60 DPI наверно будет 10 килобайт. Нет места? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:48 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
До кучи https://nginx.org/ru/ https://docs.nginx.com/nginx/admin-guide/web-server/serving-static-content/ ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 14:54 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterИ опять же, действительно, у некоторых кастомеров бывают user specific watermarks, так что получается user specific кеш должен быть.Смысла нет в таком кеше. Здесь дорогая операция - это перевести документ какого-либо формата в pdf, а вот навестить на pdf водяные знаки - относительно дешево. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 16:42 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Андрей ПанфиловrabiterИ опять же, действительно, у некоторых кастомеров бывают user specific watermarks, так что получается user specific кеш должен быть.Смысла нет в таком кеше. Здесь дорогая операция - это перевести документ какого-либо формата в pdf, а вот навестить на pdf водяные знаки - относительно дешево. Я-бы не стал спешить пока у нас не будет цифр. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 16:47 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
mayton, Все, я сделяль, осталось причесать. А цифр не будет. Я вообще-то в целом с вами согласен, нелепая таска. Я бы кешировал так кешировал по взрослому, в архиве, отдельной джобой. Но я не могу драйвить такие решения. Кстати, ehcache клевый, особенно его read through пригодилась. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 04:04 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Покажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 17:05 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
maytonПокажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры. - наверняка там еще показывать нечего, прикинули хрен к носу и решили что надо в память файлы кэшировать, а когда память кончится тогда начнут считать ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 17:42 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
maytonПокажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры. кеш только в хипе, по количеству entries - настраивается индивидуально через админку для каждого документного типа - админ кастомера может вообще поставить 0 и отключить, если надо. Вообще ходовое значения, я думаю, будет что-то в районе 5 сущностей на пользователя. Кеш не глобальный, SessionScoped, т.е. для каждого пользователя. Пользователей много одновременных не бывает (до 1000 одновременных). Размер аттачей, для которых превью отключается, тоже настраивается через админку индивидуально для каждого документного типа. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 17:56 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
KachalovmaytonПокажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры. - наверняка там еще показывать нечего, прикинули хрен к носу и решили что надо в память файлы кэшировать, а когда память кончится тогда начнут считать Да, именно так как вы сказали, и даже хуже ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 17:56 |
|
|
start [/forum/topic.php?fid=59&msg=39786028&tid=2121425]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
52ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
54ms |
get tp. blocked users: |
1ms |
others: | 14ms |
total: | 160ms |
0 / 0 |