|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiter, Про кеш не ко мне. Я его не могу оценивать до Модели. Если модель кривая, то кеш только продлит агонию. Про модель я выше писал. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:42 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
у нас используется hazelcast - поддерживается в Spring Data ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:43 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Герой дняу нас используется hazelcast - поддерживается в Spring Data Да. Кстати. Можете рассказать по лицензиям? Вроде как платная версия Hazelcast должна включать в себя off-heap доступ к памяти. Верно? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:49 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
maytonrabiterпропущено... Да с чего оно сожмется-то?) Ну был doc 50kb, стал pdf 50kb (ну примерно). Но реально какие use cases у разных кастомеров будут, я не знаю. Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так. Т.е. мы кастомер решает в итоге. Ну вот например, Java Concurrency In Practice.pdf, сейчас приаттачил, весит 6.3 мегабайта - от сервера до моего браузера идет 3 секунды. Но эти цифры ничего не значат, это же зависит от сети, от инфраструктуры. Понятно - чем больше, тем дольше. В бытность когда учился. Любил тырить из лабораторных классов различные pdf на дискетке. Тогда по сетям раннего интернета и FIDO гуляли приличные книги по программированию. Были отсканированы картинками в 300dpi с black&white цветом (это вырвиглазно!) и сконверчены в pdf. Я из соображений экономии ресурсов написал прогу на сях которая выкусывала из pdf картинки по сигнатурам. Это было несложно. В основном зависело от формата. Чуть позже я догадался их переводить в многостраничные tiff-документы (было такое) и далее уже хранил у себя. Жлобские проги открывали pdf на слабых четвёрках и Пеньтиумах до 5 минут. А мой формат открывался почти мгновенно. Это было время чудовищной экономии. Но это point автору, что не стоит вовлекать без смысла в стек технологии которые не нужны или превышают потребности кастомера в 1000 раз. Реально. Формат картинки jpeg/png уже лет 20 не менялся. А сколько патчей было накатано на pdf? И сколько инцедентов безопасности? Сколько дыр? Сколько проблем с простой печатью на принтере если контент защищён? Ах, студенческие годы... У нас копирование с дискет было возможно только через лаборантов и в часы копирования. По поводу pdf - мне тоже не нравится формат, если честно, какой-то он перегруженый. И к тому же, его нельзя стримить, т.е. нужен весь файл, чтобы отобразить. Ну и да, дыры в безопасности. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:51 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123rabiterпропущено... Да, есть такая тема, если какая-то проблема никак не решается, надо ее усугубить)не. Если меговые файлы, то 2 решения: - превью в базе - кеш хоть на клиенте согласен! ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:52 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Герой дняу нас используется hazelcast - поддерживается в Spring Data Это интересно! Я бы поработал с hazelcast! Но по сути, я из всей мощи этих продуктов (ehcache, hazelcast), использую только локальное кеширование (не распределенное), так что особо без разницы) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:53 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123rabiter, Про кеш не ко мне. Я его не могу оценивать до Модели. Если модель кривая, то кеш только продлит агонию. Про модель я выше писал. Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию). Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет). ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 20:02 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
maytonГерой дняу нас используется hazelcast - поддерживается в Spring Data Да. Кстати. Можете рассказать по лицензиям? Вроде как платная версия Hazelcast должна включать в себя off-heap доступ к памяти. Верно? лицензия бесплатная, там платный Monitor - но он не нужен, достаточно в лог писать состояние кешей и потом разбирать Плюс, там удобство в том, что имеется мастер-слейв + локальные синхронизируемые кеши, и все это бесплатно ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 20:02 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterPetro123rabiter, Про кеш не ко мне. Я его не могу оценивать до Модели. Если модель кривая, то кеш только продлит агонию. Про модель я выше писал. Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию). Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет). это же неправильно, кэш не должен что-то искать ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 20:03 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Герой дняrabiterпропущено... Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию). Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет). это же неправильно, кэш не должен что-то искать Да это неправильно. У кешей есть темпоральные эвристики. И они основаны на различных стратегиях и формулах со временем. И если подсунуть кешу фейковое существование всех данных то эта формула будет нарушена. Или эта стратегия должна в себя включать формулу. Вобщем я-бы попросил эту стратегию в студию. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 20:18 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterПо поводу pdf - мне тоже не нравится формат, если честно, какой-то он перегруженый. И к тому же, его нельзя стримить, т.е. нужен весь файл, чтобы отобразить.Почитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 20:45 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Постранично вроде стримится. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 20:54 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Герой дняrabiterпропущено... Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию). Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет). это же неправильно, кэш не должен что-то искать Ну вот у вас написано откуда, obmanula.ru, я туда зашел, а там ничего нет, это же тоже неправильно, но однако! Касательно кеша - это один из шаблонов работы с кешем, иногда очень удобно (read-through). ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 21:02 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Talk is cheap. Show me code. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 21:04 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
maytonГерой дняпропущено... это же неправильно, кэш не должен что-то искать Да это неправильно. У кешей есть темпоральные эвристики. И они основаны на различных стратегиях и формулах со временем. И если подсунуть кешу фейковое существование всех данных то эта формула будет нарушена. Или эта стратегия должна в себя включать формулу. Вобщем я-бы попросил эту стратегию в студию. Да, а это уже аргумент! Спасибо за информацию. Но в моем случае, какая там формула, какая эвристика, кеш с размером в 5-10 кешируемых элементов. Но на больших данных - согласен, недопустимо! ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 21:04 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Андрей ПанфиловrabiterПо поводу pdf - мне тоже не нравится формат, если честно, какой-то он перегруженый. И к тому же, его нельзя стримить, т.е. нужен весь файл, чтобы отобразить.Почитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях. Вы думаете мне не хватает спецификаций или чего "почитать"? Хотя спасибо, конечно, и за ссылку :-) pdf.js, кстати, это то, что в firefox используется как внутренний viewer. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 21:06 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
maytonПостранично вроде стримится. Как я понял из нескольких источников, там таблица с тем, что где находится внутри pdf, находится в самом конце этого Pdf. Т.е. надо весь качать. Хотя, есть сервак поддерживает ranged request, можно сам этот хвост pdf и скачать с сервака. Pdf.js, кстати, так умеет делать. Но с ranged request мне как-то не хотелось разбираться. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 21:08 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
[quot Андрей Панфилов]rabiterпопробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях. в хроме в итоге заргузилось, мозилы под рукой нет (рабочий ноут уже выключил), а что там? Может кто проверить? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 21:11 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Андрей ПанфиловПочитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.я так понял - трафик отдачи очень слабый.... ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 21:15 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
вадяАндрей ПанфиловПочитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.я так понял - трафик отдачи очень слабый.... Не, дело не в трафике, pdf весит 350 мегабайт. Это демонстрация, pdf viewer из хрома ничего не показывает, пока всю ее не скачает. А вот PDF.js использует ranged header (т.е. может запросить сначала хвост pdf файла, с reference таблицей, а потом уже все остальное). В итоге получается, что firefox (который использует pdf.js) начинает уже показывать первые страницы pdf до его полной загрузки. @Андрей Панфилов, спасибо за демонстрацию! Но камень в огород формата pdf, что им стоило это reference таблицу вначале файла разместить? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 22:55 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
хмм, а это мысль, можно заморочиться и проверить, как включить (и возможно ли вообще, и что это такое) ranged headers на Wildfly, Glassfish и Websphere - это сервера, что мы поддерживаем. По крайней мере, таску на будущее можно создать. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 22:58 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterНо камень в огород формата pdf, что им стоило это reference таблицу вначале файла разместить? PDF Linearization ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2019, 06:07 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterКонцепт прост, мы снабжаем кеш стратегией, хм.. Я вам три раза сказал: Превью_в_БД <---> Конвертация <---> Кеш Вы уперлись 10 страниц в кеш, а это выше 3 ВЗАИМОИСКЛЮЧАЮЩИХ и ВЛИЯЮЩИХ параметра. - поставь превью и кеш не нужен - убери PDF и кеш не нужен Сейчас ты кешем делаешь костыль для не оптимизированных других двух параметров. ... Как вариант, делай заказчику ВСЕ 3 ПАРАМЕТРА: - вкл\выкл превью - вкл\выкл конвертаци. в PDF - вкл\выкл кеш сервере - вкл\выкл кеш в базе клиента localStorage IE11 ....... Я понимаю, что счас вы просто обучаетесь работе с кешем за счет фирмы. Т.к. на конечный юз кейс это мало повлияет. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2019, 11:47 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterpdf весит 350 мегабайт.сколько страниц? Одна? 350? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2019, 11:50 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
maytonПостранично вроде стримится. где? http://files.stroyinf.ru/Data/46/4669.pdf У него наиважнейшая цель шрифты правильно показать и верстку. А не стримится постранично. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2019, 11:55 |
|
|
start [/forum/topic.php?fid=59&msg=39787011&tid=2121425]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
48ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
61ms |
get tp. blocked users: |
1ms |
others: | 12ms |
total: | 163ms |
0 / 0 |