powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Выбор технологии кеширования
25 сообщений из 124, страница 4 из 5
Выбор технологии кеширования
    #39787002
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiter,
Про кеш не ко мне.
Я его не могу оценивать до Модели.
Если модель кривая, то кеш только продлит агонию.
Про модель я выше писал.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787003
Фотография Герой дня
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
у нас используется hazelcast - поддерживается в Spring Data
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787005
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Герой дняу нас используется hazelcast - поддерживается в Spring Data
Да. Кстати. Можете рассказать по лицензиям? Вроде как платная версия Hazelcast
должна включать в себя off-heap доступ к памяти. Верно?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787006
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonrabiterпропущено...


Да с чего оно сожмется-то?) Ну был doc 50kb, стал pdf 50kb (ну примерно).
Но реально какие use cases у разных кастомеров будут, я не знаю. Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так. Т.е. мы кастомер решает в итоге.
Ну вот например, Java Concurrency In Practice.pdf, сейчас приаттачил, весит 6.3 мегабайта - от сервера до моего браузера идет 3 секунды. Но эти цифры ничего не значат, это же зависит от сети, от инфраструктуры. Понятно - чем больше, тем дольше.
В бытность когда учился. Любил тырить из лабораторных классов различные pdf на дискетке.
Тогда по сетям раннего интернета и FIDO гуляли приличные книги по программированию.
Были отсканированы картинками в 300dpi с black&white цветом (это вырвиглазно!) и сконверчены
в pdf. Я из соображений экономии ресурсов написал прогу на сях которая выкусывала из pdf
картинки по сигнатурам. Это было несложно. В основном зависело от формата.

Чуть позже я догадался их переводить в многостраничные tiff-документы (было такое) и далее
уже хранил у себя. Жлобские проги открывали pdf на слабых четвёрках и Пеньтиумах до 5 минут.
А мой формат открывался почти мгновенно.

Это было время чудовищной экономии. Но это point автору, что не стоит вовлекать без смысла
в стек технологии которые не нужны или превышают потребности кастомера в 1000 раз.
Реально. Формат картинки jpeg/png уже лет 20 не менялся. А сколько патчей было накатано
на pdf? И сколько инцедентов безопасности? Сколько дыр? Сколько проблем с простой печатью
на принтере если контент защищён?

Ах, студенческие годы... У нас копирование с дискет было возможно только через лаборантов и в часы копирования. По поводу pdf - мне тоже не нравится формат, если честно, какой-то он перегруженый. И к тому же, его нельзя стримить, т.е. нужен весь файл, чтобы отобразить. Ну и да, дыры в безопасности.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787007
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123rabiterпропущено...


Да, есть такая тема, если какая-то проблема никак не решается, надо ее усугубить)не.
Если меговые файлы, то 2 решения:
- превью в базе
- кеш хоть на клиенте

согласен!
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787008
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Герой дняу нас используется hazelcast - поддерживается в Spring Data

Это интересно! Я бы поработал с hazelcast! Но по сути, я из всей мощи этих продуктов (ehcache, hazelcast), использую только локальное кеширование (не распределенное), так что особо без разницы)
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787009
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123rabiter,
Про кеш не ко мне.
Я его не могу оценивать до Модели.
Если модель кривая, то кеш только продлит агонию.
Про модель я выше писал.

Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию).
Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет).
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787010
Фотография Герой дня
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonГерой дняу нас используется hazelcast - поддерживается в Spring Data
Да. Кстати. Можете рассказать по лицензиям? Вроде как платная версия Hazelcast
должна включать в себя off-heap доступ к памяти. Верно?

лицензия бесплатная, там платный Monitor - но он не нужен, достаточно в лог писать состояние кешей и потом разбирать

Плюс, там удобство в том, что имеется мастер-слейв + локальные синхронизируемые кеши, и все это бесплатно
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787011
Фотография Герой дня
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterPetro123rabiter,
Про кеш не ко мне.
Я его не могу оценивать до Модели.
Если модель кривая, то кеш только продлит агонию.
Про модель я выше писал.

Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию).
Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет).

это же неправильно, кэш не должен что-то искать
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787014
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Герой дняrabiterпропущено...


Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию).
Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет).

это же неправильно, кэш не должен что-то искать
Да это неправильно. У кешей есть темпоральные эвристики.
И они основаны на различных стратегиях и формулах со временем. И если подсунуть кешу
фейковое существование всех данных то эта формула будет нарушена.

Или эта стратегия должна в себя включать формулу. Вобщем я-бы попросил
эту стратегию в студию.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787021
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterПо поводу pdf - мне тоже не нравится формат, если честно, какой-то он перегруженый. И к тому же, его нельзя стримить, т.е. нужен весь файл, чтобы отобразить.Почитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787023
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Постранично вроде стримится.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787026
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Герой дняrabiterпропущено...


Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию).
Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет).

это же неправильно, кэш не должен что-то искать

Ну вот у вас написано откуда, obmanula.ru, я туда зашел, а там ничего нет, это же тоже неправильно, но однако!
Касательно кеша - это один из шаблонов работы с кешем, иногда очень удобно (read-through).
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787028
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Talk is cheap. Show me code.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787029
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonГерой дняпропущено...


это же неправильно, кэш не должен что-то искать
Да это неправильно. У кешей есть темпоральные эвристики.
И они основаны на различных стратегиях и формулах со временем. И если подсунуть кешу
фейковое существование всех данных то эта формула будет нарушена.

Или эта стратегия должна в себя включать формулу. Вобщем я-бы попросил
эту стратегию в студию.

Да, а это уже аргумент! Спасибо за информацию. Но в моем случае, какая там формула, какая эвристика, кеш с размером в 5-10 кешируемых элементов. Но на больших данных - согласен, недопустимо!
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787030
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей ПанфиловrabiterПо поводу pdf - мне тоже не нравится формат, если честно, какой-то он перегруженый. И к тому же, его нельзя стримить, т.е. нужен весь файл, чтобы отобразить.Почитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.

Вы думаете мне не хватает спецификаций или чего "почитать"? Хотя спасибо, конечно, и за ссылку :-)
pdf.js, кстати, это то, что в firefox используется как внутренний viewer.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787031
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonПостранично вроде стримится.

Как я понял из нескольких источников, там таблица с тем, что где находится внутри pdf, находится в самом конце этого Pdf. Т.е. надо весь качать. Хотя, есть сервак поддерживает ranged request, можно сам этот хвост pdf и скачать с сервака. Pdf.js, кстати, так умеет делать. Но с ranged request мне как-то не хотелось разбираться.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787033
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Андрей Панфилов]rabiterпопробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.

в хроме в итоге заргузилось, мозилы под рукой нет (рабочий ноут уже выключил), а что там? Может кто проверить?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787034
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей ПанфиловПочитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.я так понял - трафик отдачи очень слабый....
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787054
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадяАндрей ПанфиловПочитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.я так понял - трафик отдачи очень слабый....

Не, дело не в трафике, pdf весит 350 мегабайт. Это демонстрация, pdf viewer из хрома ничего не показывает, пока всю ее не скачает.
А вот PDF.js использует ranged header (т.е. может запросить сначала хвост pdf файла, с reference таблицей, а потом уже все остальное). В итоге получается, что firefox (который использует pdf.js) начинает уже показывать первые страницы pdf до его полной загрузки. @Андрей Панфилов, спасибо за демонстрацию! Но камень в огород формата pdf, что им стоило это reference таблицу вначале файла разместить?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787055
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хмм, а это мысль, можно заморочиться и проверить, как включить (и возможно ли вообще, и что это такое) ranged headers на Wildfly, Glassfish и Websphere - это сервера, что мы поддерживаем. По крайней мере, таску на будущее можно создать.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787089
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterНо камень в огород формата pdf, что им стоило это reference таблицу вначале файла разместить?

PDF Linearization
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787111
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterКонцепт прост, мы снабжаем кеш стратегией,
хм..
Я вам три раза сказал:
Превью_в_БД <---> Конвертация <---> Кеш
Вы уперлись 10 страниц в кеш, а это выше 3 ВЗАИМОИСКЛЮЧАЮЩИХ и ВЛИЯЮЩИХ параметра.
- поставь превью и кеш не нужен
- убери PDF и кеш не нужен
Сейчас ты кешем делаешь костыль для не оптимизированных других двух параметров.
...
Как вариант, делай заказчику ВСЕ 3 ПАРАМЕТРА:
- вкл\выкл превью
- вкл\выкл конвертаци. в PDF
- вкл\выкл кеш сервере
- вкл\выкл кеш в базе клиента localStorage IE11
.......
Я понимаю, что счас вы просто обучаетесь работе с кешем за счет фирмы. Т.к. на конечный юз кейс это мало повлияет.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787113
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterpdf весит 350 мегабайт.сколько страниц? Одна? 350?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787117
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonПостранично вроде стримится.
где?
http://files.stroyinf.ru/Data/46/4669.pdf
У него наиважнейшая цель шрифты правильно показать и верстку.
А не стримится постранично.
...
Рейтинг: 0 / 0
25 сообщений из 124, страница 4 из 5
Форумы / Java [игнор отключен] [закрыт для гостей] / Выбор технологии кеширования
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]