powered by simpleCommunicator - 2.0.35     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Кеширование внешних ссылок/ресурсов
17 сообщений из 17, страница 1 из 1
Кеширование внешних ссылок/ресурсов
    #40053115
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Допустим есть какая-то платформа для общения.
В этой платформе пользователи публикуют свои сообщения, в том числе в сообщении можно указать внешнюю ссылку.
Для удобства пользователей у платформы будет настройка "Отображать контент по внешней ссылке", при включении этой настройки платформа будет пытаться отобразить содержимое (доступное по внешней ссылке) непосредственно в теле публикации.
Другие пользователи могут как-то реагировать на эту публикацию.
Вопрос по содержимому, которое размещено по внешней ссылке. Точнее по тому, как "отображение контента" должна обрабатывать платформа.

Самое простое — ничего особенного не делать, определять mime-тип, изображения/видео встраивать в страницу, текст размещать как цитату.
Минусы:
- внешние сервисы могут блокировать отдачу контента (по referer или другим признакам);
- утечка пользовательского трафика;
- контент может быть изменен/подменен;
- контент может быть контекстным (зависеть от IP-адреса, локации или других атрибутов посетителя);
(в принципе все минусы сводятся к тому, что у платформы нет контроля над контентом)

Другая крайность — при публикации создавать локальную копию контента и в дальнейшем всегда использовать локальный контент. Но тут другие минусы:
- внешние сервисы могут блокировать или искажать отдачу контента для серверов платформы;
- проблемы с авторскими правами;
- требуется много дискового пространства для хранения копий (хотя можно затирать копии старше определенного возраста);
- неприменимо к поточному контенту;

Возможен и некий компромисс. Автор делает публикацию со ссылкой, платформа делает локальную копию контента и на всякий случай сравнивает с хешем, полученным от автора (на случай, если внешний сервис платформе и автору отдает разный контент). Если локальная копия перестала быть валидной (не совпали кеши, истек срок хранения или другие причины), то используется первый вариант со встраиванием внешней ссылки.
Но лично я рассматриваю этот компромисс, как объединение минусов обоих вариантов.

Не подскажите, какие подходы практикуют в подобных случаях? Может быть я что-то упускаю?
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053247
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alibek B.,

А есть ли у вас право что-то с внешнего ресурса себе копировать и отображать как своё?
Предлагаю сначала с этим разобраться, ибо ваш ресурс могут прикрыть со всеми потрохами и впаять что-то не сильно приятное.
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053251
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я это и указал под пунктом "проблемы с авторскими правами". Не думаю, что они неразрешимы, так как в природе существуют поисковики и кеширующие прокси, но хотелось бы узнать, какие ещё варианты существуют.

(и про "отображать как свое" речи не было)
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053350
Злой Бобр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alibek B.,

Может проще сразу сказать за что боретесь? А то тянуть кота за ... можно долго и нудно. И не нужно волноваться - никто вашу супер пупер идею не украдет. Скорей всего ею уже давно пользуются, но вы не в курсе.
Колитесь уже - чего в итоге нужно?
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053407
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alibek B.
Я это и указал под пунктом "проблемы с авторскими правами". Не думаю, что они неразрешимы, так как в природе существуют поисковики и кеширующие прокси, но хотелось бы узнать, какие ещё варианты существуют.

(и про "отображать как свое" речи не было)


Поисковики не отображают целевой контент, только ссылку на него.
Поисковики игнорируют контент, который указан как игнорируемый в поиске.

Не сравнивайте задачу отображения контента одного ресурса на другом ресурсе с поисковиками или прокси. Это глупая подмена понятий, натягивания слона на уши.

Правильно, это отображать контент, разрешённый его владельцем к внедрению указанными способами. Например, внедрение скрипта, отображающего ролик ютуба. И эти варианты обычно запрещают кеширование вашим ресурсом.
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053447
WebSharper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Злой Бобр

Колитесь уже - чего в итоге нужно?


Link preview как уже реализованно в мессенджерах?
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053505
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Злой Бобр
Может проще сразу сказать за что боретесь?

Никакого секрета нет, все описано в первом сообщении.
Что-то вроде локальной блогоплатформы.
Авторы постят сообщения (ссылка и описание). Пользователи, подписанные на автора или тематику, видят в своей ленте эти сообщения. Задачи выдать контент за свой не стоит (в ленте будет фигурировать исходная ссылка), вопрос в том, есть ли целесообразность локально кешировать контент, и если да, то каким именно образом.
Популяризация сервиса не требуется, это вспомогательный инструмент для удобства группы пользователей.

hVostt
Поисковики не отображают целевой контент, только ссылку на него.

А еще у них есть превью и сохраненная копия. Причем сохраненная копия есть в любом случае (даже если не отображается пользователю), потому что по ней и индексируется контент.

hVostt
Это глупая подмена понятий, натягивания слона на уши.

Только когда нечего возразить.
Технически это копирование и хранение байтов.
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053561
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alibek B.

Не подскажите, какие подходы практикуют в подобных случаях? Может быть я что-то упускаю?


archive.org ?!
<:o)
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053626
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alibek B.,

Link preview, сказали уже выше.

Просто посмотрите, как это сделано у других. Мало что-ли блогов, микроблогов, чатиков и прочей фигни? :)

Alibek B.
hVostt
Это глупая подмена понятий, натягивания слона на уши.

Только когда нечего возразить.
Технически это копирование и хранение байтов.


Ну вы же не поисковик делаете.
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053772
Злой Бобр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alibek B.
... вопрос в том, есть ли целесообразность локально кешировать контент, и если да, то каким именно образом.

Все зависит от контента. Есть контент который нужен в работе, а есть просто развлекательный. В первом случае кеш необходим. Во втором что он есть что нету - особой роли не играет. Т.е. исходите из практической необходимости. Во времена диалап интернета кеш был распространен. При сегодняшних каналах практически никто кеш не держит, кроме специализированных сервисов.
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053885
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVostt
Ну вы же не поисковик делаете.

А кто у нас аккредитацию на разработку поисковиков выдает? ГлавРазрабПоиск?
Или у нас в законодательстве об авторском праве есть использование и определения слова "поисковик"?

Злой Бобр
Во времена диалап интернета кеш был распространен. При сегодняшних каналах практически никто кеш не держит, кроме специализированных сервисов.

Экономия трафика это не единственная причина.
Сейчас действительно нет особого смысла кешировать контент из этих соображений (причем не свой).
О локальной копии я думаю скорее из соображений того, чтобы в ленте пользователи увидели именно тот контент, который размещал автор (а если давать ссылку или встраивать контент с внешнего ресурса, он может быть подменен или заблокирован).
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053910
Злой Бобр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alibek B.

О локальной копии я думаю скорее из соображений того, чтобы в ленте пользователи увидели именно тот контент, который размещал автор (а если давать ссылку или встраивать контент с внешнего ресурса, он может быть подменен или заблокирован).

Ну если вас не волнуют авторские права - дерзайте.
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053966
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alibek B.
hVostt
Ну вы же не поисковик делаете.

А кто у нас аккредитацию на разработку поисковиков выдает? ГлавРазрабПоиск?
Или у нас в законодательстве об авторском праве есть использование и определения слова "поисковик"?


Вы задачу-то какую решаете? Поисковик делаете? Нет.

Alibek B.
Экономия трафика это не единственная причина.


В чём экономия трафика состоит? Для клиента по большему счёту не важно, откуда он контент загружает, от вас или от стороннего ресурса. Если вы будете что-то там кешировать, вы только увеличите свой трафик.

Вообще непонятны, ни цели, ни задачи, ни чего хотите добиться и зачем.
А ещё при этом заходите на вопросы юридического характера.

Я боюсь, в суде вам на аргумент "а вот у гугла..." вам рассмеются в лицо на иск о воровстве контента.
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40053978
Alibek B
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Предлагаю про авторские права пока забыть.
Это само по себе болото, где в выигрыше только юристы.
И я вроде бы прямым текстом написал, что экономия трафика не имеет значения. Смысл кеширования (создания локальной копии контента) только в том, чтобы пользователи видели именно тот контент, который видел автор при публикации ссылки.
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40054043
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Все известные мне сервисы используют подход "ничего не делать".
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40054246
Злой Бобр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alibek B.,

Публикуйте скриншот информации со ссылкой на первоисточник. Это как вариант.
А так я вообще не вижу необходимости что-то делать, т.к. во многих "локальных" системах запрещаются ссылки на внешние ресурсы. Иначе это уже совсем не локальная система.
...
Рейтинг: 0 / 0
Кеширование внешних ссылок/ресурсов
    #40054755
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alibek B.,

Все эти вопросы к вам по большему счёту из-за колоссальных трудозатрат для выполнения задачи хотя бы на уровне совкового колхоза.

Как говорится "такого даже в майбахе нет!" :)
Нафига козе баян?
...
Рейтинг: 0 / 0
17 сообщений из 17, страница 1 из 1
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Кеширование внешних ссылок/ресурсов
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]