powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Выбор технологии кеширования
25 сообщений из 124, страница 3 из 5
Выбор технологии кеширования
    #39786924
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
На мой взгляд проблема еще вот какая, так как это pdf.js, ему нужно загрузить всю pdf с сервера, прежде чем он сможет ее отобразить.
Толку, что у нас на сервевере лежит готовая pdf в кеше. В смысле это, конечно, хорошо, но эту pdf надо еще до браузера донести всю целиком. Вообще помимо pdf.js есть другие решения, которые парсят pdf на сервере, а клиенту отдают части pdf по мере необходимости (например, при пролистывании документа), но эти решения платные, да и сложнее их было интегрировать. Но так как это плагин у нас, всегда можно pdf.js заменить вообще на что угодно.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786929
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А вообще логика у руководства такая по этому кешированию - кешируем в памяти, кастомер про это знает, если хочет - включает и настраивает для документных типов необходимые ему значения кеша, соотносит с размером оперативной памяти, колличеству пользователей. Т.е. мы как бы не занимаемся настройками кеша, все вынесено в конфигурацию.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786938
Ахахах, просто эталоннейший пример говнозадачи из современной IT-помойки))) Нет, вы только вдумайтесь - сначала придумать показывать пользователю картинки через pdf.js, предварительно конвертируя в pdf (как такая мысль в голову только прийти могла???), потом увидеть, что все это дико тормозит (а вы чего-то другого ожидали?). А теперь, вместо того, чтобы признать, что это решение было, мягко говоря не совсем удачным и сделать по нормальному, начинать городить на говнокоде новый слой говнокода, чтобы заставить старый говнокод хоть как то работать.
Нет, оно понятно, если цель - изображать бурную деятельность - вариант беспроигрышный. Наверняка ведь, перед тем как придумать это "гениальное" архитектурное решение c пдфами, было проведено не одно совещание, с рисованиями умных диаграмм на доске и бурными обсуждениями. Хотя за это время можно было бы все по нормальному сделать, но это же работать надо, а не языком чесать. Теперь вот опять активные дебаты на тему, какой кэш приделать, как, куда и зачем. Опять будет проведено несколько совещаний с рассмотрением различных технологий кэширвания, поиском плюсов и минусов, оценками... Главное, что заказчик видит - работа кипит! И денежки несет, конечно же.
Я не знаю как долго еще это будет прокатывать, но рано или поздно тренд обязан смениться с вливания бесконечных финансовых ресурсов в эту черную дыру, по какому-то недоразумению называемую "разработкой ПО" на реальную разработку профессионалами в области, собственно, разработки ПО, а не мастеров просиживания штанов в офисе.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786954
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterэту pdf надо еще до браузера донести всю целиком.сколько объем? Я выше писал про килобайты.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786955
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ржавый гвоздьАхахах, просто эталоннейший пример говнозадачи из современной IT-помойки))) Нет, вы только вдумайтесь - сначала придумать показывать пользователю картинки через pdf.js, предварительно конвертируя в pdf (как такая мысль в голову только прийти могла???), потом увидеть, что все это дико тормозит (а вы чего-то другого ожидали?). А теперь, вместо того, чтобы признать, что это решение было, мягко говоря не совсем удачным и сделать по нормальному, начинать городить на говнокоде новый слой говнокода, чтобы заставить старый говнокод хоть как то работать.
Нет, оно понятно, если цель - изображать бурную деятельность - вариант беспроигрышный. Наверняка ведь, перед тем как придумать это "гениальное" архитектурное решение c пдфами, было проведено не одно совещание, с рисованиями умных диаграмм на доске и бурными обсуждениями. Хотя за это время можно было бы все по нормальному сделать, но это же работать надо, а не языком чесать. Теперь вот опять активные дебаты на тему, какой кэш приделать, как, куда и зачем. Опять будет проведено несколько совещаний с рассмотрением различных технологий кэширвания, поиском плюсов и минусов, оценками... Главное, что заказчик видит - работа кипит! И денежки несет, конечно же.
Я не знаю как долго еще это будет прокатывать, но рано или поздно тренд обязан смениться с вливания бесконечных финансовых ресурсов в эту черную дыру, по какому-то недоразумению называемую "разработкой ПО" на реальную разработку профессионалами в области, собственно, разработки ПО, а не мастеров просиживания штанов в офисе.

Хоспаде, сколько раз зарекался тут что спрашивать. Одним словом, русский форм. Одни ясновидцы и гадалки.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786956
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ржавый гвоздь,
)))
Аффтар! Держи удар. Это тоже уметь надо).
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786957
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ржавый гвоздьможно было бы все по нормальному сделать
- интересно, "по нормальному" это как? Я участвовал в разработке нескольких ECM систем, так что проблемы ТС мне отчасти понятны. Какой вариант будет "нормальным" в описанной бизнес задаче?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786958
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterтут что спрашиватьэто не тут. Это мужской форум.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786959
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123rabiterэту pdf надо еще до браузера донести всю целиком.сколько объем? Я выше писал про килобайты.

Объем - по разному. Вы знаете что такое коробочный продукт? Это значит что у тебя кастомеров 200 штук и у всех своя специфика, поэтому все - настраивается, и размер кеша и прочее.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786961
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123rabiterтут что спрашиватьэто не тут. Это мужской форум.

Ладно, понял, беру свои слова назад про гадалок)) Все норм
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786962
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kachalovпо нормальному" это как?ТЭО делают и ТЗ с цифрами.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786963
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123Kachalovпо нормальному" это как?ТЭО делают и ТЗ с цифрами.

Кастомеров много, отсюда попытки сделать что-то универсально, и вынести все в настройки (тоже беда, кстати, softcoding )
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786966
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiter,
Превью сжимается в сотни раз. Вы же можете дать цифры. Это же не ДСП и не сов. Секретно.
Вы сказали про время передачи клиента.....
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786967
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterуниверсальноэто у всех проблема. Не бывает универсального. Увы.
Один качает Войну и мир, другой работает с фото 3 на 4.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786968
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ржавый гвоздьАхахах, просто эталоннейший пример говнозадачи из современной IT-помойки))) Нет, вы только вдумайтесь - сначала придумать показывать пользователю картинки через pdf.js, предварительно конвертируя в pdf (как такая мысль в голову только прийти могла???), потом увидеть, что все это дико тормозит (а вы чего-то другого ожидали?). А теперь, вместо того, чтобы признать, что это решение было, мягко говоря не совсем удачным и сделать по нормальному, начинать городить на говнокоде новый слой говнокода, чтобы заставить старый говнокод хоть как то работать.
Нет, оно понятно, если цель - изображать бурную деятельность - вариант беспроигрышный. Наверняка ведь, перед тем как придумать это "гениальное" архитектурное решение c пдфами, было проведено не одно совещание, с рисованиями умных диаграмм на доске и бурными обсуждениями. Хотя за это время можно было бы все по нормальному сделать, но это же работать надо, а не языком чесать. Теперь вот опять активные дебаты на тему, какой кэш приделать, как, куда и зачем. Опять будет проведено несколько совещаний с рассмотрением различных технологий кэширвания, поиском плюсов и минусов, оценками... Главное, что заказчик видит - работа кипит! И денежки несет, конечно же.
Я не знаю как долго еще это будет прокатывать, но рано или поздно тренд обязан смениться с вливания бесконечных финансовых ресурсов в эту черную дыру, по какому-то недоразумению называемую "разработкой ПО" на реальную разработку профессионалами в области, собственно, разработки ПО, а не мастеров просиживания штанов в офисе.
Ты зря набросился на автора. Он-же пишет дескыть "не могу драйвить" решения.
Значит он - человек подневольный. Кодит как сказали.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786969
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123rabiter,
Превью сжимается в сотни раз. Вы же можете дать цифры. Это же не ДСП и не сов. Секретно.
Вы сказали про время передачи клиента.....

Да с чего оно сожмется-то?) Ну был doc 50kb, стал pdf 50kb (ну примерно).
Но реально какие use cases у разных кастомеров будут, я не знаю. Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так. Т.е. мы кастомер решает в итоге.
Ну вот например, Java Concurrency In Practice.pdf, сейчас приаттачил, весит 6.3 мегабайта - от сервера до моего браузера идет 3 секунды. Но эти цифры ничего не значат, это же зависит от сети, от инфраструктуры. Понятно - чем больше, тем дольше.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786970
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123rabiterуниверсальноэто у всех проблема. Не бывает универсального. Увы.
Один качает Войну и мир, другой работает с фото 3 на 4.

Воот, все верно. Некоторые вообще чертежи хранят в нашей системе, и им этот pdf.js вообще не нужен, мы им API, они по нему свой вьювер заимплементили и во фрейме встроили на страницу.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786983
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterНо реально какие use cases у разных кастомеров будут, я не знаю.рассказываю наш на одной работе.
Юзвери сканили договора на МФУ и заливали систему. Так как там по умолчанию 600 или 1200 DPI параметр скана по умолчанию, то pdf были огромные.
И место быстро кончилось.
Они просто не тыкали сканер на меньшее разрешение.
...
Как костыль, я делал утилиту, которая в цикле проходила и уменьшала разрешение сканов внутри pdf.
Можно и на входе было это делать.
Это просто юз кейс недоработок постановки.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786985
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterМожет у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так.может наоборот? Включить?
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786987
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterим этот pdf.js вообще не нужентебе Ржавый гвоздь про это и намекнул)
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786989
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И не путай процесс конвертации и процесс кеширования.
Удачи!
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786993
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123rabiterМожет у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так.может наоборот? Включить?

Да, есть такая тема, если какая-то проблема никак не решается, надо ее усугубить)
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786998
rabiter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123И не путай процесс конвертации и процесс кеширования.
Удачи!

Ну да, это два разных процесса, НО! Чтобы самому не заморачиваться с многопоточкой, я делегировал это Ehcache. Короче настроил read through. И когда вызываем cache.get(attachmentKey) - то кеш проверяет, есть ли entry с таким ключем, если нет, то он загружает аттач и конвертирует его в pdf, добавляет в кеш, и возвращает. И все это thread safe, всмысле не будет несколько конвертаций одного и того же аттача бестолку (thundering-herd). Только вот я хотел асинхронные сервлет сделать, чтобы поток не простаивал во время конвертации. А так получается он будет заблокирован во время вызова cache.get. Да ну и фиг с ним! Зато прозрачно. Короче вся сложность - внутри ehcache. А этим ребятам я доверяю.
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39786999
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterPetro123пропущено...
может наоборот? Включить?

Да, есть такая тема, если какая-то проблема никак не решается, надо ее усугубить)не.
Если меговые файлы, то 2 решения:
- превью в базе
- кеш хоть на клиенте
...
Рейтинг: 0 / 0
Выбор технологии кеширования
    #39787001
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rabiterPetro123rabiter,
Превью сжимается в сотни раз. Вы же можете дать цифры. Это же не ДСП и не сов. Секретно.
Вы сказали про время передачи клиента.....

Да с чего оно сожмется-то?) Ну был doc 50kb, стал pdf 50kb (ну примерно).
Но реально какие use cases у разных кастомеров будут, я не знаю. Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так. Т.е. мы кастомер решает в итоге.
Ну вот например, Java Concurrency In Practice.pdf, сейчас приаттачил, весит 6.3 мегабайта - от сервера до моего браузера идет 3 секунды. Но эти цифры ничего не значат, это же зависит от сети, от инфраструктуры. Понятно - чем больше, тем дольше.
В бытность когда учился. Любил тырить из лабораторных классов различные pdf на дискетке.
Тогда по сетям раннего интернета и FIDO гуляли приличные книги по программированию.
Были отсканированы картинками в 300dpi с black&white цветом (это вырвиглазно!) и сконверчены
в pdf. Я из соображений экономии ресурсов написал прогу на сях которая выкусывала из pdf
картинки по сигнатурам. Это было несложно. В основном зависело от формата.

Чуть позже я догадался их переводить в многостраничные tiff-документы (было такое) и далее
уже хранил у себя. Жлобские проги открывали pdf на слабых четвёрках и Пеньтиумах до 5 минут.
А мой формат открывался почти мгновенно.

Это было время чудовищной экономии. Но это point автору, что не стоит вовлекать без смысла
в стек технологии которые не нужны или превышают потребности кастомера в 1000 раз.
Реально. Формат картинки jpeg/png уже лет 20 не менялся. А сколько патчей было накатано
на pdf? И сколько инцедентов безопасности? Сколько дыр? Сколько проблем с простой печатью
на принтере если контент защищён?
...
Рейтинг: 0 / 0
25 сообщений из 124, страница 3 из 5
Форумы / Java [игнор отключен] [закрыт для гостей] / Выбор технологии кеширования
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]