Anjey aka PM,
Так задача и есть изначальная. мой сервис, это файловый сервис. хитрость в хранении, обусловливается отказоустойчивостью кластера на случай падения нод.
Можно конечно все файлы продублировать трижды целиком, упала одна нода, пользователь попадёт на другую, потом на третью. но это дорого. идея и заключаеться в том, чтобы использовать избыточность, которая при минимальном размере(избыточность) обеспечит читаемость файла при отказе (у нас 5 нод одновременно)
это значит что файл бёьться на части и хитро (чистая математика, по формуле) раскидываеться на ноды, притом так, что даже если пять нод содержащих свою порцию файла провалиться под землю изза прямого попадания в эти 5 датацентров ядерной ракеты, даных с остальных будет гарантировано достаточно для востановления исходного файла.
тоесть, мой сервис, по сути это обычный сервис, где представте себе, файлы тупо лежат на шдд, и мы их выдаём напрямую Нджинксом. а потом решили применить это хитрое кодирование+разбиение+сохранение частей в кластере(группе нод). теперь нджинкс напрямую выдать файл не может, на пхп сделали скрипт, который
КСТАТЕ, может сдесь есть лучшее решение..
открывает себе нужные части
$part1=fopen('http://node1.site.com/hitrii_storage/75984375439893.part1');
.....
$partN=fopen('http://node5.site.com/hitrii_storage/75984375439893.partN');
и потом простая арифметика.
while(file_ne_do_konca)
{
$original_part = restore_original(fread($part1,4096),....,fread($partN, 4096)); //кусок оригинального файла
echo $original_part;
}
ЗЫ кратенько. изначально презакачивал нужные кусочки цурлом, но это юзер ждёт порой по 25сек начала скачивания, особенно если некоторые ноды отказали и преходиться не одновременно закачивать нужные скажем 10 кусков, а 10 закачек поставили, 3 ошибкой, берём другие 3 (у нас же избыточность).
потом пробовал через сокеты, вроде норм, но время реакции оставалось на уровне 2-4с. когда открываю файл вот так, тоесть на удалёной ноде не пхп код выдаёт кусочек, а нджинкс. и удалённая нода меньше тормозит, и фронтальная юзеру начинает выдачу файла порой за 150мс - что очень даже неплохо. при нагрузке на сеть до 500мс .
========
Так вот, когда презакачивал файлы цурлом, то видя что презакачано (а кусочки удаляються сразу после выдачи) наблюдал постоянно.
скрипт отработал, тоесть презакачал и поудалял уже кусочки, тем самым выдал 2Гб файл, а я с своим медленым нетом с сервера получил около 120Мб.
===
сейчас изза отсутсвия презакачек(не совсем понятно почему) фронтальная нода явно всумме медленее обрабатывает файл и выдаёт, но влюбом случае
зайдя на ноду по ссх, и wget
http://localhost/<uri_for_get_the_file>
получаем файл на сокростях 4-5Мбайт/сек
юзер естественно скачивает , вот я тестя, гдето 200-до 800 Кб/сек.
тобишь актуальным остаёться вопрос, принудительно притормаживать выдачу(сборку) файла, если юзер один чорт не успеет быстрее качать.
Плюс планирую кеш сделать, кеш кусочкев по логике.(без деталей)
файл из 150 кусочков, юзеры которые его обычно качают качают на скоростях 2мб/сек, все кусочки на близких нодах, а вот два из них на тормознутых, выдающих их с скоростью 50Кб/сек.
вот такие два кусочка, которые нам все портят лягут в кеш на той ноде где такая ситуация.
На ноде стоящей в хантымансийске, где любители качать данный файл его качают через мобильный интернет на скоростях 20Кб/сек(например) - кешировать проблемные куски не так важно, ибо они сдесь не делают проблему.
Этот кешер, пока на уровне идеии, (плюс видеофайлы могут сразу смотря не доконца смотреть...тоесть кусочки первых чанков файла, важны, последних нет).
Но в любом случае, как вы правильно заметили, лучшая оптимизация для выдачи файла большого, это выдавать его нджинксом.
и правильно подметили, что в пхп не предполагалось решение подобных задач.
НО задача стала, и надо найти решение.
(варианты напиания на шелле(юникс) чегото вспомогательного и вызов его из пхп, расматриваеться смелло, вплоть до написания несложного кода на си, который низкоуровнево может пообщаться с ОС и выдать нам нужную инфу).
ЗЫЗЫ
варианты предварительно собирать, это всё весело, но как видно из вышенаписаного, я спецом бился чтоб выдавать юзеру файл через пару сотен мсек. - так что ждать пару минут для сборки - не вариант.
ЗЫЗЫЗЫ
если подобное можно сделать на другом языке(перл. питон, ноудджес...) предлагайте.
задача не стоит сделать на пхп по возможности контроль за реальной отдачей.
вопрос стоит сделать контроль реальной отдачи , по возможности на пхп(ибо остальное уже на пхп) - но если прийдёться хоть на двух или трёх языках ещо чтото дописывать, совершенно не проблемма.
