|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
На мой взгляд проблема еще вот какая, так как это pdf.js, ему нужно загрузить всю pdf с сервера, прежде чем он сможет ее отобразить. Толку, что у нас на сервевере лежит готовая pdf в кеше. В смысле это, конечно, хорошо, но эту pdf надо еще до браузера донести всю целиком. Вообще помимо pdf.js есть другие решения, которые парсят pdf на сервере, а клиенту отдают части pdf по мере необходимости (например, при пролистывании документа), но эти решения платные, да и сложнее их было интегрировать. Но так как это плагин у нас, всегда можно pdf.js заменить вообще на что угодно. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:02 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
А вообще логика у руководства такая по этому кешированию - кешируем в памяти, кастомер про это знает, если хочет - включает и настраивает для документных типов необходимые ему значения кеша, соотносит с размером оперативной памяти, колличеству пользователей. Т.е. мы как бы не занимаемся настройками кеша, все вынесено в конфигурацию. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:07 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Ахахах, просто эталоннейший пример говнозадачи из современной IT-помойки))) Нет, вы только вдумайтесь - сначала придумать показывать пользователю картинки через pdf.js, предварительно конвертируя в pdf (как такая мысль в голову только прийти могла???), потом увидеть, что все это дико тормозит (а вы чего-то другого ожидали?). А теперь, вместо того, чтобы признать, что это решение было, мягко говоря не совсем удачным и сделать по нормальному, начинать городить на говнокоде новый слой говнокода, чтобы заставить старый говнокод хоть как то работать. Нет, оно понятно, если цель - изображать бурную деятельность - вариант беспроигрышный. Наверняка ведь, перед тем как придумать это "гениальное" архитектурное решение c пдфами, было проведено не одно совещание, с рисованиями умных диаграмм на доске и бурными обсуждениями. Хотя за это время можно было бы все по нормальному сделать, но это же работать надо, а не языком чесать. Теперь вот опять активные дебаты на тему, какой кэш приделать, как, куда и зачем. Опять будет проведено несколько совещаний с рассмотрением различных технологий кэширвания, поиском плюсов и минусов, оценками... Главное, что заказчик видит - работа кипит! И денежки несет, конечно же. Я не знаю как долго еще это будет прокатывать, но рано или поздно тренд обязан смениться с вливания бесконечных финансовых ресурсов в эту черную дыру, по какому-то недоразумению называемую "разработкой ПО" на реальную разработку профессионалами в области, собственно, разработки ПО, а не мастеров просиживания штанов в офисе. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:21 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterэту pdf надо еще до браузера донести всю целиком.сколько объем? Я выше писал про килобайты. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:40 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Ржавый гвоздьАхахах, просто эталоннейший пример говнозадачи из современной IT-помойки))) Нет, вы только вдумайтесь - сначала придумать показывать пользователю картинки через pdf.js, предварительно конвертируя в pdf (как такая мысль в голову только прийти могла???), потом увидеть, что все это дико тормозит (а вы чего-то другого ожидали?). А теперь, вместо того, чтобы признать, что это решение было, мягко говоря не совсем удачным и сделать по нормальному, начинать городить на говнокоде новый слой говнокода, чтобы заставить старый говнокод хоть как то работать. Нет, оно понятно, если цель - изображать бурную деятельность - вариант беспроигрышный. Наверняка ведь, перед тем как придумать это "гениальное" архитектурное решение c пдфами, было проведено не одно совещание, с рисованиями умных диаграмм на доске и бурными обсуждениями. Хотя за это время можно было бы все по нормальному сделать, но это же работать надо, а не языком чесать. Теперь вот опять активные дебаты на тему, какой кэш приделать, как, куда и зачем. Опять будет проведено несколько совещаний с рассмотрением различных технологий кэширвания, поиском плюсов и минусов, оценками... Главное, что заказчик видит - работа кипит! И денежки несет, конечно же. Я не знаю как долго еще это будет прокатывать, но рано или поздно тренд обязан смениться с вливания бесконечных финансовых ресурсов в эту черную дыру, по какому-то недоразумению называемую "разработкой ПО" на реальную разработку профессионалами в области, собственно, разработки ПО, а не мастеров просиживания штанов в офисе. Хоспаде, сколько раз зарекался тут что спрашивать. Одним словом, русский форм. Одни ясновидцы и гадалки. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:42 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Ржавый гвоздь, ))) Аффтар! Держи удар. Это тоже уметь надо). ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:42 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Ржавый гвоздьможно было бы все по нормальному сделать - интересно, "по нормальному" это как? Я участвовал в разработке нескольких ECM систем, так что проблемы ТС мне отчасти понятны. Какой вариант будет "нормальным" в описанной бизнес задаче? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:43 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterтут что спрашиватьэто не тут. Это мужской форум. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:43 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123rabiterэту pdf надо еще до браузера донести всю целиком.сколько объем? Я выше писал про килобайты. Объем - по разному. Вы знаете что такое коробочный продукт? Это значит что у тебя кастомеров 200 штук и у всех своя специфика, поэтому все - настраивается, и размер кеша и прочее. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:44 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123rabiterтут что спрашиватьэто не тут. Это мужской форум. Ладно, понял, беру свои слова назад про гадалок)) Все норм ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:45 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Kachalovпо нормальному" это как?ТЭО делают и ТЗ с цифрами. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:46 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123Kachalovпо нормальному" это как?ТЭО делают и ТЗ с цифрами. Кастомеров много, отсюда попытки сделать что-то универсально, и вынести все в настройки (тоже беда, кстати, softcoding ) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:48 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiter, Превью сжимается в сотни раз. Вы же можете дать цифры. Это же не ДСП и не сов. Секретно. Вы сказали про время передачи клиента..... ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:50 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterуниверсальноэто у всех проблема. Не бывает универсального. Увы. Один качает Войну и мир, другой работает с фото 3 на 4. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:51 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Ржавый гвоздьАхахах, просто эталоннейший пример говнозадачи из современной IT-помойки))) Нет, вы только вдумайтесь - сначала придумать показывать пользователю картинки через pdf.js, предварительно конвертируя в pdf (как такая мысль в голову только прийти могла???), потом увидеть, что все это дико тормозит (а вы чего-то другого ожидали?). А теперь, вместо того, чтобы признать, что это решение было, мягко говоря не совсем удачным и сделать по нормальному, начинать городить на говнокоде новый слой говнокода, чтобы заставить старый говнокод хоть как то работать. Нет, оно понятно, если цель - изображать бурную деятельность - вариант беспроигрышный. Наверняка ведь, перед тем как придумать это "гениальное" архитектурное решение c пдфами, было проведено не одно совещание, с рисованиями умных диаграмм на доске и бурными обсуждениями. Хотя за это время можно было бы все по нормальному сделать, но это же работать надо, а не языком чесать. Теперь вот опять активные дебаты на тему, какой кэш приделать, как, куда и зачем. Опять будет проведено несколько совещаний с рассмотрением различных технологий кэширвания, поиском плюсов и минусов, оценками... Главное, что заказчик видит - работа кипит! И денежки несет, конечно же. Я не знаю как долго еще это будет прокатывать, но рано или поздно тренд обязан смениться с вливания бесконечных финансовых ресурсов в эту черную дыру, по какому-то недоразумению называемую "разработкой ПО" на реальную разработку профессионалами в области, собственно, разработки ПО, а не мастеров просиживания штанов в офисе. Ты зря набросился на автора. Он-же пишет дескыть "не могу драйвить" решения. Значит он - человек подневольный. Кодит как сказали. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:52 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123rabiter, Превью сжимается в сотни раз. Вы же можете дать цифры. Это же не ДСП и не сов. Секретно. Вы сказали про время передачи клиента..... Да с чего оно сожмется-то?) Ну был doc 50kb, стал pdf 50kb (ну примерно). Но реально какие use cases у разных кастомеров будут, я не знаю. Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так. Т.е. мы кастомер решает в итоге. Ну вот например, Java Concurrency In Practice.pdf, сейчас приаттачил, весит 6.3 мегабайта - от сервера до моего браузера идет 3 секунды. Но эти цифры ничего не значат, это же зависит от сети, от инфраструктуры. Понятно - чем больше, тем дольше. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:55 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123rabiterуниверсальноэто у всех проблема. Не бывает универсального. Увы. Один качает Войну и мир, другой работает с фото 3 на 4. Воот, все верно. Некоторые вообще чертежи хранят в нашей системе, и им этот pdf.js вообще не нужен, мы им API, они по нему свой вьювер заимплементили и во фрейме встроили на страницу. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 18:57 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterНо реально какие use cases у разных кастомеров будут, я не знаю.рассказываю наш на одной работе. Юзвери сканили договора на МФУ и заливали систему. Так как там по умолчанию 600 или 1200 DPI параметр скана по умолчанию, то pdf были огромные. И место быстро кончилось. Они просто не тыкали сканер на меньшее разрешение. ... Как костыль, я делал утилиту, которая в цикле проходила и уменьшала разрешение сканов внутри pdf. Можно и на входе было это делать. Это просто юз кейс недоработок постановки. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:16 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterМожет у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так.может наоборот? Включить? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:19 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterим этот pdf.js вообще не нужентебе Ржавый гвоздь про это и намекнул) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:21 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
И не путай процесс конвертации и процесс кеширования. Удачи! ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:22 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123rabiterМожет у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так.может наоборот? Включить? Да, есть такая тема, если какая-то проблема никак не решается, надо ее усугубить) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:30 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
Petro123И не путай процесс конвертации и процесс кеширования. Удачи! Ну да, это два разных процесса, НО! Чтобы самому не заморачиваться с многопоточкой, я делегировал это Ehcache. Короче настроил read through. И когда вызываем cache.get(attachmentKey) - то кеш проверяет, есть ли entry с таким ключем, если нет, то он загружает аттач и конвертирует его в pdf, добавляет в кеш, и возвращает. И все это thread safe, всмысле не будет несколько конвертаций одного и того же аттача бестолку (thundering-herd). Только вот я хотел асинхронные сервлет сделать, чтобы поток не простаивал во время конвертации. А так получается он будет заблокирован во время вызова cache.get. Да ну и фиг с ним! Зато прозрачно. Короче вся сложность - внутри ehcache. А этим ребятам я доверяю. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:37 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterPetro123пропущено... может наоборот? Включить? Да, есть такая тема, если какая-то проблема никак не решается, надо ее усугубить)не. Если меговые файлы, то 2 решения: - превью в базе - кеш хоть на клиенте ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:40 |
|
Выбор технологии кеширования
|
|||
---|---|---|---|
#18+
rabiterPetro123rabiter, Превью сжимается в сотни раз. Вы же можете дать цифры. Это же не ДСП и не сов. Секретно. Вы сказали про время передачи клиента..... Да с чего оно сожмется-то?) Ну был doc 50kb, стал pdf 50kb (ну примерно). Но реально какие use cases у разных кастомеров будут, я не знаю. Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так. Т.е. мы кастомер решает в итоге. Ну вот например, Java Concurrency In Practice.pdf, сейчас приаттачил, весит 6.3 мегабайта - от сервера до моего браузера идет 3 секунды. Но эти цифры ничего не значат, это же зависит от сети, от инфраструктуры. Понятно - чем больше, тем дольше. В бытность когда учился. Любил тырить из лабораторных классов различные pdf на дискетке. Тогда по сетям раннего интернета и FIDO гуляли приличные книги по программированию. Были отсканированы картинками в 300dpi с black&white цветом (это вырвиглазно!) и сконверчены в pdf. Я из соображений экономии ресурсов написал прогу на сях которая выкусывала из pdf картинки по сигнатурам. Это было несложно. В основном зависело от формата. Чуть позже я догадался их переводить в многостраничные tiff-документы (было такое) и далее уже хранил у себя. Жлобские проги открывали pdf на слабых четвёрках и Пеньтиумах до 5 минут. А мой формат открывался почти мгновенно. Это было время чудовищной экономии. Но это point автору, что не стоит вовлекать без смысла в стек технологии которые не нужны или превышают потребности кастомера в 1000 раз. Реально. Формат картинки jpeg/png уже лет 20 не менялся. А сколько патчей было накатано на pdf? И сколько инцедентов безопасности? Сколько дыр? Сколько проблем с простой печатью на принтере если контент защищён? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2019, 19:41 |
|
|
start [/forum/topic.php?fid=59&msg=39786929&tid=2121425]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
47ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
62ms |
get tp. blocked users: |
1ms |
others: | 325ms |
total: | 476ms |
0 / 0 |