|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Допустим есть какая-то платформа для общения. В этой платформе пользователи публикуют свои сообщения, в том числе в сообщении можно указать внешнюю ссылку. Для удобства пользователей у платформы будет настройка "Отображать контент по внешней ссылке", при включении этой настройки платформа будет пытаться отобразить содержимое (доступное по внешней ссылке) непосредственно в теле публикации. Другие пользователи могут как-то реагировать на эту публикацию. Вопрос по содержимому, которое размещено по внешней ссылке. Точнее по тому, как "отображение контента" должна обрабатывать платформа. Самое простое — ничего особенного не делать, определять mime-тип, изображения/видео встраивать в страницу, текст размещать как цитату. Минусы: - внешние сервисы могут блокировать отдачу контента (по referer или другим признакам); - утечка пользовательского трафика; - контент может быть изменен/подменен; - контент может быть контекстным (зависеть от IP-адреса, локации или других атрибутов посетителя); (в принципе все минусы сводятся к тому, что у платформы нет контроля над контентом) Другая крайность — при публикации создавать локальную копию контента и в дальнейшем всегда использовать локальный контент. Но тут другие минусы: - внешние сервисы могут блокировать или искажать отдачу контента для серверов платформы; - проблемы с авторскими правами; - требуется много дискового пространства для хранения копий (хотя можно затирать копии старше определенного возраста); - неприменимо к поточному контенту; Возможен и некий компромисс. Автор делает публикацию со ссылкой, платформа делает локальную копию контента и на всякий случай сравнивает с хешем, полученным от автора (на случай, если внешний сервис платформе и автору отдает разный контент). Если локальная копия перестала быть валидной (не совпали кеши, истек срок хранения или другие причины), то используется первый вариант со встраиванием внешней ссылки. Но лично я рассматриваю этот компромисс, как объединение минусов обоих вариантов. Не подскажите, какие подходы практикуют в подобных случаях? Может быть я что-то упускаю? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.03.2021, 11:39 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Alibek B., А есть ли у вас право что-то с внешнего ресурса себе копировать и отображать как своё? Предлагаю сначала с этим разобраться, ибо ваш ресурс могут прикрыть со всеми потрохами и впаять что-то не сильно приятное. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.03.2021, 23:47 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Я это и указал под пунктом "проблемы с авторскими правами". Не думаю, что они неразрешимы, так как в природе существуют поисковики и кеширующие прокси, но хотелось бы узнать, какие ещё варианты существуют. (и про "отображать как свое" речи не было) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2021, 00:23 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Alibek B., Может проще сразу сказать за что боретесь? А то тянуть кота за ... можно долго и нудно. И не нужно волноваться - никто вашу супер пупер идею не украдет. Скорей всего ею уже давно пользуются, но вы не в курсе. Колитесь уже - чего в итоге нужно? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2021, 18:31 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Alibek B. Я это и указал под пунктом "проблемы с авторскими правами". Не думаю, что они неразрешимы, так как в природе существуют поисковики и кеширующие прокси, но хотелось бы узнать, какие ещё варианты существуют. (и про "отображать как свое" речи не было) Поисковики не отображают целевой контент, только ссылку на него. Поисковики игнорируют контент, который указан как игнорируемый в поиске. Не сравнивайте задачу отображения контента одного ресурса на другом ресурсе с поисковиками или прокси. Это глупая подмена понятий, натягивания слона на уши. Правильно, это отображать контент, разрешённый его владельцем к внедрению указанными способами. Например, внедрение скрипта, отображающего ролик ютуба. И эти варианты обычно запрещают кеширование вашим ресурсом. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2021, 23:49 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Злой Бобр Колитесь уже - чего в итоге нужно? Link preview как уже реализованно в мессенджерах? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2021, 10:22 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Злой Бобр Может проще сразу сказать за что боретесь? Никакого секрета нет, все описано в первом сообщении. Что-то вроде локальной блогоплатформы. Авторы постят сообщения (ссылка и описание). Пользователи, подписанные на автора или тематику, видят в своей ленте эти сообщения. Задачи выдать контент за свой не стоит (в ленте будет фигурировать исходная ссылка), вопрос в том, есть ли целесообразность локально кешировать контент, и если да, то каким именно образом. Популяризация сервиса не требуется, это вспомогательный инструмент для удобства группы пользователей. hVostt Поисковики не отображают целевой контент, только ссылку на него. А еще у них есть превью и сохраненная копия. Причем сохраненная копия есть в любом случае (даже если не отображается пользователю), потому что по ней и индексируется контент. hVostt Это глупая подмена понятий, натягивания слона на уши. Только когда нечего возразить. Технически это копирование и хранение байтов. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2021, 12:00 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Alibek B. Не подскажите, какие подходы практикуют в подобных случаях? Может быть я что-то упускаю? archive.org ?! <:o) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2021, 13:28 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Alibek B., Link preview, сказали уже выше. Просто посмотрите, как это сделано у других. Мало что-ли блогов, микроблогов, чатиков и прочей фигни? :) Alibek B. hVostt Это глупая подмена понятий, натягивания слона на уши. Только когда нечего возразить. Технически это копирование и хранение байтов. Ну вы же не поисковик делаете. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2021, 14:46 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Alibek B. ... вопрос в том, есть ли целесообразность локально кешировать контент, и если да, то каким именно образом. Все зависит от контента. Есть контент который нужен в работе, а есть просто развлекательный. В первом случае кеш необходим. Во втором что он есть что нету - особой роли не играет. Т.е. исходите из практической необходимости. Во времена диалап интернета кеш был распространен. При сегодняшних каналах практически никто кеш не держит, кроме специализированных сервисов. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.03.2021, 18:30 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
hVostt Ну вы же не поисковик делаете. А кто у нас аккредитацию на разработку поисковиков выдает? ГлавРазрабПоиск? Или у нас в законодательстве об авторском праве есть использование и определения слова "поисковик"? Злой Бобр Во времена диалап интернета кеш был распространен. При сегодняшних каналах практически никто кеш не держит, кроме специализированных сервисов. Экономия трафика это не единственная причина. Сейчас действительно нет особого смысла кешировать контент из этих соображений (причем не свой). О локальной копии я думаю скорее из соображений того, чтобы в ленте пользователи увидели именно тот контент, который размещал автор (а если давать ссылку или встраивать контент с внешнего ресурса, он может быть подменен или заблокирован). ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2021, 08:53 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Alibek B. О локальной копии я думаю скорее из соображений того, чтобы в ленте пользователи увидели именно тот контент, который размещал автор (а если давать ссылку или встраивать контент с внешнего ресурса, он может быть подменен или заблокирован). Ну если вас не волнуют авторские права - дерзайте. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2021, 10:00 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Alibek B. hVostt Ну вы же не поисковик делаете. А кто у нас аккредитацию на разработку поисковиков выдает? ГлавРазрабПоиск? Или у нас в законодательстве об авторском праве есть использование и определения слова "поисковик"? Вы задачу-то какую решаете? Поисковик делаете? Нет. Alibek B. Экономия трафика это не единственная причина. В чём экономия трафика состоит? Для клиента по большему счёту не важно, откуда он контент загружает, от вас или от стороннего ресурса. Если вы будете что-то там кешировать, вы только увеличите свой трафик. Вообще непонятны, ни цели, ни задачи, ни чего хотите добиться и зачем. А ещё при этом заходите на вопросы юридического характера. Я боюсь, в суде вам на аргумент "а вот у гугла..." вам рассмеются в лицо на иск о воровстве контента. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2021, 12:52 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Предлагаю про авторские права пока забыть. Это само по себе болото, где в выигрыше только юристы. И я вроде бы прямым текстом написал, что экономия трафика не имеет значения. Смысл кеширования (создания локальной копии контента) только в том, чтобы пользователи видели именно тот контент, который видел автор при публикации ссылки. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2021, 13:14 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Все известные мне сервисы используют подход "ничего не делать". ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2021, 14:44 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Alibek B., Публикуйте скриншот информации со ссылкой на первоисточник. Это как вариант. А так я вообще не вижу необходимости что-то делать, т.к. во многих "локальных" системах запрещаются ссылки на внешние ресурсы. Иначе это уже совсем не локальная система. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2021, 18:20 |
|
Кеширование внешних ссылок/ресурсов
|
|||
---|---|---|---|
#18+
Alibek B., Все эти вопросы к вам по большему счёту из-за колоссальных трудозатрат для выполнения задачи хотя бы на уровне совкового колхоза. Как говорится "такого даже в майбахе нет!" :) Нафига козе баян? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.03.2021, 01:08 |
|
|
start [/forum/topic.php?fid=33&msg=40053251&tid=1547066]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
193ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
78ms |
get tp. blocked users: |
2ms |
others: | 257ms |
total: | 573ms |
0 / 0 |