Гость
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Организация хранения большого количества изображений / 25 сообщений из 29, страница 1 из 2
02.10.2016, 21:35
    #39319290
Cyrax_02
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
На сайте имеется хуча картинок. Структура (иерархия) директорий разработана.
Для каждой картинки хранится оригинал изображения (большого размера) + несколько уменьшенных размеров для отображения на сайте.

Сейчас все хостинг-провайдеры перешли на SSD/SAS-диски. В итоге тот же объём дискового пространства стал стоить в разы больше. Становится актуальным вопрос хранения на сервере оригинальных изображений, которые занимают 80% места (от объёма, занимаемого всеми изображениями вместе взятыми).

С одной стороны, если на сервере оригиналы изображений не хранить, то проблема полностью решается.
С другой стороны, оригинальные изображения нужны в следующих случаях:
1. Необходимость перегенерации малых изображений на основе оригиналов (например, если меняются размеры отображаемых на сайте картинок)
2. Необходимость переналожения водяных знаков (меняется логотип, место наложения и пр.)

Приходят в голову такие варианты :
1. Хранить оригиналы на локальном компьютере. При необходимости перегенерации малых изображений выполняется закачка на сервер небольших порций оригинальных изображений и на их основе - перегенарция малых изображений. И так N раз (насколько позволяет место на сервере).
2. Хранить оригиналы на другом сервере со старыми SATA-дисками (где найти таких хостеров ?). При необходимости перегенерации скрипт просто-напросто скачивает нужные оригиналы с этого сервера.

На практике крупные медиа-порталы как организовывают хранение больших объёмов медиафайлов. Не уж-то всё хранят на SSD/SAS-дисках ?
...
Рейтинг: 0 / 0
02.10.2016, 22:57
    #39319305
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Крупные порталы уж точно на шаред хостинга не располагают. Для больших объемов выгоднее содержать выделенный сервер. А статику и в облачном хранилище можно хранить, либо свое разворачивает, либо как сервис готовое берете. Тот же s3.
...
Рейтинг: 0 / 0
02.10.2016, 23:53
    #39319315
Cyrax_02
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
авторвыделенный сервер
Физический или виртуальный ?

авторА статику и в облачном хранилище можно хранить
Так облако дороже выходит. Того же необлачного VPS.
...
Рейтинг: 0 / 0
03.10.2016, 00:20
    #39319323
Cyrax_02
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
В идеале смонтировать на VPS облачное хранилище типа Яндекс.Диска или Облака@Mail.ru и отдавать клиентам статику с этих хранилищ как будто она отдаётся с нашего сервера.

Такое возможно ?
...
Рейтинг: 0 / 0
03.10.2016, 01:45
    #39319333
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Как вариант, Яндекс.Фотки для оригиналов.
...
Рейтинг: 0 / 0
03.10.2016, 01:55
    #39319336
Cyrax_02
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
авторКак вариант, Яндекс.Фотки для оригиналов.
Да, только так. Правда, придётся писать интерфейс взаимодействия на основе Яндекс.API, т.к. генерация превью выполняется программно.

Можно было бы и всю статику хранить в облачном хранилище, например, в Amazon S3 или Selectel Cloud Storage
https://selectel.ru/services/cloud-storage/
https://habrahabr.ru/company/selectel/blog/231469/

но только прямые ссылки в этом случае будут ссылаться не на наш сайт, а на их сервер - для SEO нашего сайта это не есть хорошо...
...
Рейтинг: 0 / 0
03.10.2016, 02:19
    #39319339
982183
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Туча это сколько терабайт?
...
Рейтинг: 0 / 0
03.10.2016, 08:36
    #39319375
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Cyrax_02Физический или виртуальный ?

Ну это вам виднее. Физический конечно выгоднее при больших объемах.
https://www.ovh.ie/dedicated_servers/storage/

авторТак облако дороже выходит. Того же необлачного VPS.
Я не про VPS в облаке.
https://aws.amazon.com/ru/s3/pricing/
...
Рейтинг: 0 / 0
03.10.2016, 08:36
    #39319376
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
О каких объемах идет речь?
...
Рейтинг: 0 / 0
03.10.2016, 08:50
    #39319383
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Cyrax_02авторКак вариант, Яндекс.Фотки для оригиналов.
Да, только так. Правда, придётся писать интерфейс взаимодействия на основе Яндекс.API, т.к. генерация превью выполняется программно.Нафига? К фоткам же есть прямой доступ. Достаточно скармливать сайту и хранить в базе яндексяческий URL исходной картинки.
...
Рейтинг: 0 / 0
03.10.2016, 12:16
    #39319527
Cyrax_02
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
vkleCyrax_02пропущено...

Да, только так. Правда, придётся писать интерфейс взаимодействия на основе Яндекс.API, т.к. генерация превью выполняется программно.Нафига? К фоткам же есть прямой доступ. Достаточно скармливать сайту и хранить в базе яндексяческий URL исходной картинки.
Т.к. загрузка фотографий (оригиналов), их обработка и генерация превью выполняется программно, то и эти самые Яндексовские URL нужно будет получать (и сохранять в БД) тоже программно. Не вручную же Яндексовские URL в нашу базу копипастить...
...
Рейтинг: 0 / 0
03.10.2016, 12:20
    #39319530
Cyrax_02
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
авторНу это вам виднее. Физический конечно выгоднее при больших объемах.
https://www.ovh.ie/dedicated_servers/storage/ Ну уж нет. Предпочтительнее на российских серверах...

авторЯ не про VPS в облаке.
https://aws.amazon.com/ru/s3/pricing/ Если останавливаться на таких хранилищах, то лучше в Selectel :
https://selectel.ru/services/cloud-storage/
...
Рейтинг: 0 / 0
03.10.2016, 13:55
    #39319624
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Cyrax_02авторНу это вам виднее. Физический конечно выгоднее при больших объемах.
https://www.ovh.ie/dedicated_servers/storage/ Ну уж нет. Предпочтительнее на российских серверах...

авторЯ не про VPS в облаке.
https://aws.amazon.com/ru/s3/pricing/ Если останавливаться на таких хранилищах, то лучше в Selectel :
https://selectel.ru/services/cloud-storage/

Ну это уже зависит от целевой аудитории и личных предубеждений. Я лишь привел пример, кроме s3 и selectel подобных сервисов огромное количество.
...
Рейтинг: 0 / 0
03.10.2016, 14:17
    #39319635
Cyrax_02
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Касательно таких облачных хранилищ. Проблема в том, что прямые ссылки ссылаются не на наш сайт, а на их сервер. В итоге страдает SEO-рейтинг сайта. Вернее, недополучает той "кармы", которую получил бы, если все эти ссылки ссылались на наш сайт.

В то же время, для реализации такого варианта придётся при каждом клиентском запросе статики на лету скачивать картинку на свой сайт (из облака) и отдавать клиенту. Т.е. фактически, каждый статический файл, запрашиваемый клиентом, будет представлять собой скрипт, отдающий клиенту запрошенный файл. Наверное, по скорости отдачи и загрузке нашего сервера такой вариант сведёт на нет все преимущества облачного хранилища. Или нет ?
...
Рейтинг: 0 / 0
03.10.2016, 15:53
    #39319744
Изопропил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Cyrax_02,


HettО каких объемах идет речь?
?
...
Рейтинг: 0 / 0
03.10.2016, 16:09
    #39319770
Cyrax_02
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
ИзопропилCyrax_02,


HettО каких объемах идет речь?
?
20
...
Рейтинг: 0 / 0
03.10.2016, 19:11
    #39319885
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Cyrax_02vkleпропущено...
Нафига? К фоткам же есть прямой доступ. Достаточно скармливать сайту и хранить в базе яндексяческий URL исходной картинки.
Т.к. загрузка фотографий (оригиналов), их обработка и генерация превью выполняется программно, то и эти самые Яндексовские URL нужно будет получать (и сохранять в БД) тоже программно. Не вручную же Яндексовские URL в нашу базу копипастить...Если изображений действительно очень много и они часто добавляются, то да, Вы правы, удобнее API использовать, если он есть, конечно. В каких то случаях, на мой взгляд, конечно, вполне достаточно стандартных средств - там есть вывод URL отмеченных снимков списком, который не слишком сложно перенести в форму где-нить в админке (выделить все фотки в альбоме, выбрать "оригинал" и копипастнуть список, удалив первую строку).
...
Рейтинг: 0 / 0
04.10.2016, 08:35
    #39320041
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Cyrax_02ИзопропилCyrax_02,


пропущено...

?
20


Cyrax_02Касательно таких облачных хранилищ. Проблема в том, что прямые ссылки ссылаются не на наш сайт, а на их сервер. В итоге страдает SEO-рейтинг сайта. Вернее, недополучает той "кармы", которую получил бы, если все эти ссылки ссылались на наш сайт.

В то же время, для реализации такого варианта придётся при каждом клиентском запросе статики на лету скачивать картинку на свой сайт (из облака) и отдавать клиенту. Т.е. фактически, каждый статический файл, запрашиваемый клиентом, будет представлять собой скрипт, отдающий клиенту запрошенный файл. Наверное, по скорости отдачи и загрузке нашего сервера такой вариант сведёт на нет все преимущества облачного хранилища. Или нет ?

1. Ну заверните получение картинки через свой сервер, за одно можете ее там закэшировать.
2. Скрипт здесь не нужен.
...
Рейтинг: 0 / 0
04.10.2016, 08:37
    #39320042
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Cyrax_02ИзопропилCyrax_02,


пропущено...

?
20

Если гигабайт, то это ниочем. Но каким путем идти, это вам выбирать, везде есть плюсы и минусы. В случае дедика вам, возможно, придется заморачиваться с бэкапами данных, так как хранить ценные данные на одном сервере это не надежно.
...
Рейтинг: 0 / 0
04.10.2016, 08:39
    #39320043
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Могу даже предложить вариант взять несколько не дорогих виртуалок и развернуть там свое облако, например Openstack Swift. Сможете масштабировать потом как захотите. Но это наверное самый сложный, но самый надежный, масштабируемый и дешевый вариант.
...
Рейтинг: 0 / 0
05.10.2016, 23:40
    #39321470
Cyrax_02
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
автор1. Ну заверните получение картинки через свой сервер, за одно можете ее там закэшировать.
2. Скрипт здесь не нужен.
На уровне веб-сервера - внутренний редирект на внешний ресурс ? Наколько я знаю, внутренний редирект возможен только на внутренний ресурс.

авторМогу даже предложить вариант взять несколько не дорогих виртуалок и развернуть там свое облако, например Openstack Swift. Сможете масштабировать потом как захотите. Но это наверное самый сложный, но самый надежный, масштабируемый и дешевый вариант.
Такой вариант будет дороже, чем один VPS с тем же объёмом дисковой памяти. Это если рассматривать объёмы дисковой памяти до 1Тб (которые ещё предоставляют на SSD в рамках одного VPS).
...
Рейтинг: 0 / 0
04.07.2017, 19:30
    #39482709
Cyrax_02
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Ещё один компромиссный вариант

В качестве оригиналов хранить на сервере не исходные тяжёлые (10-20 Мп) картинки, а их уменьшенные копии (псевдооригиналы)
Размер этих псевдооригиналов - минимальный, но который сейчас и в будущем обеспечит все запросы сайта. И с этого псевдооригинала в любой момент можно будет генерировать новые превью с новыми водяными знаками.

Размер такого псевдооригинала будет в 5-10 раз меньше оригинала.
На вскидку: размер, не превышающий по горизонтали и вертикали 1280 пикселей. Кто что думает по данному варианту ?
...
Рейтинг: 0 / 0
04.07.2017, 20:47
    #39482740
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Уже 4к мониторы какбэ, 1280 маловато...
...
Рейтинг: 0 / 0
04.07.2017, 20:48
    #39482742
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
Зачем их на ssd хранить?
...
Рейтинг: 0 / 0
04.07.2017, 21:06
    #39482751
Cyrax_02
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Организация хранения большого количества изображений
авторЗачем их на ssd хранить?Потому что сайт работает на SSD + код сайта должен иметь свободный доступ к оригиналам (или псевдооригиналам)
...
Рейтинг: 0 / 0
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Организация хранения большого количества изображений / 25 сообщений из 29, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]