ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / PHP, CURL, block size
34 сообщений из 34, показаны все 2 страниц
  все  
PHP, CURL, block size
    #38257177
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Загружаю курлом файлы как-то так:

Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
        $ch = curl_init($url);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_PUT, 1);
        curl_setopt($ch, CURLOPT_HTTPHEADER, array(
            'X-Auth-Token: ' . $this->_x_auth_token,
        ));
        $fp = fopen($localFile, 'r');
        curl_setopt($ch, CURLOPT_INFILE, $fp);
        curl_setopt($ch, CURLOPT_INFILESIZE, filesize($localFile));
        $result = curl_exec($ch);
        fclose($fp);

        $info = curl_getinfo($ch);
        curl_close($ch);



Проблема в том, что диски не вывозят. На них записывается со скоростью 1 гигабит, и выгружается на этой же скорости, точнее должно бы, но диск так быстро не может писать и читать. Хоть там и норм диски стоят.

Была идея сделать рам диск, но максимум озу 32 гига, а этого мало для временного хранения.
Как понимаю если тут и можно размер буфера чтения увеличить, то это не спасет. Дайте мыслей
...
Рейтинг: 0 / 0
14.05.2013, 18:24
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257186
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
HettПроблема в том, что диски не вывозят. На них записывается ... и выгружаетсяВот тут поподробнее. Что за диски, как именно вы их терзаете?
...
Рейтинг: 0 / 0
14.05.2013, 18:27
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257199
phpz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
phpz
Гость
HettБыла идея сделать рам диск, но максимум озу 32 гига, а этого мало для временного хранения.
Как понимаю если тут и можно размер буфера чтения увеличить, то это не спасет. Дайте мыслей

Пинком под зад будет в самый раз, если 32гб озу не хватает :)
...
Рейтинг: 0 / 0
14.05.2013, 18:34
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257206
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
miksoftHettПроблема в том, что диски не вывозят. На них записывается ... и выгружаетсяВот тут поподробнее. Что за диски, как именно вы их терзаете?

Модель дисков не знаю, сказали что сас, быстрые.
ССД там долго не проживут, как я понимаю.
Два диска в зеркале работают, аппаратный рейд (контролер тоже не знаю).

Терзаются так: пользователи льют данные на фтп, а демоны на пхп разгребают и отправляют на другие сервера.
...
Рейтинг: 0 / 0
14.05.2013, 18:40
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257208
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
HettТерзаются так: пользователи льют данные на фтп, а демоны на пхп разгребают и отправляют на другие сервера.Не понял, в приведенный код к какой из частей относится?
...
Рейтинг: 0 / 0
14.05.2013, 18:42
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257217
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Он выгружает данные с сервера. Это как раз из пхп демона код.
Я думал как бы размер буфера чтения увеличить, но не нашел такого в курл.
...
Рейтинг: 0 / 0
14.05.2013, 18:49
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257218
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
HettОн выгружает данные с сервера. Это как раз из пхп демона код.А зачем для чтения локальных файлов curl ?
...
Рейтинг: 0 / 0
14.05.2013, 18:52
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257219
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Чтобы передать их по протоколу HTTP на другой сервер
...
Рейтинг: 0 / 0
14.05.2013, 18:52
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257220
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Как вариант - таки сделать RAM-диск, но его заполнение сделать более интеллектуальным, чтобы оно само притормаживалось или останавливалось по мере заполнения этого диска.
...
Рейтинг: 0 / 0
14.05.2013, 18:53
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257222
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
А есть какие-то решения чтобы РАМ-диск работал вместе с ХДД как-то? Хоты бы при переполнении чтобы он туда данные начинал пихать.
...
Рейтинг: 0 / 0
14.05.2013, 18:54
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257223
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
HettЧтобы передать их по протоколу HTTP на другой серверА, так это "выгружаю", а не "загружаю".

А точно именно локальные диски не справляются? Может принимающий сервер не справляется?
...
Рейтинг: 0 / 0
14.05.2013, 18:54
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257225
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Принимает облачное хранилище, там нагрузки на диски даже почти нету.
...
Рейтинг: 0 / 0
14.05.2013, 18:58
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257226
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Hett,

Если у вас такое могучее хранилище, так зачем вам этот буферный сервер? почему бы не писать данные сразу туда?
...
Рейтинг: 0 / 0
14.05.2013, 18:59
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257229
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Ну это ж надо пользователям специфичный софт ставить, да и такая перевалочная база дает больший контроль.
...
Рейтинг: 0 / 0
14.05.2013, 19:01
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257231
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
HettНу это ж надо пользователям специфичный софт ставитьЗачем? Почему не поднять тот же FTP-сервер, пусть даже и в виртуалке?
...
Рейтинг: 0 / 0
14.05.2013, 19:05
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257234
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
miksoftHettНу это ж надо пользователям специфичный софт ставитьЗачем? Почему не поднять тот же FTP-сервер, пусть даже и в виртуалке?

Эм, не понятно, пользователи точно не будут ничего поднимать :) Ну а у нас вот он поднят...
...
Рейтинг: 0 / 0
14.05.2013, 19:06
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257237
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Hettmiksoftпропущено...
Зачем? Почему не поднять тот же FTP-сервер, пусть даже и в виртуалке?

Эм, не понятно, пользователи точно не будут ничего поднимать :) Ну а у нас вот он поднят...Я не про пользователей, а про FTP-сервер на этом вашем хранилище.
...
Рейтинг: 0 / 0
14.05.2013, 19:09
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257240
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Так он и поднят, только диски не справляются при работе с большой скоростью, они позволяют примерно на треть канал использовать, а хотелось бы по больше, дабы меньше серверов плодить.
...
Рейтинг: 0 / 0
14.05.2013, 19:12
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257244
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
HettТак он и поднят, только диски не справляются при работе с большой скоростью, они позволяют примерно на треть канал использовать, а хотелось бы по больше, дабы меньше серверов плодить.Сейчас он поднят не на хранилище, а на неком промежуточном сервере, насколько я понял из Ваших слов. А я предлагаю поднять его непосредственно на самом хранилище. Там же поднят HTTP-сервер, что мешает и FTP-сервер рядом поднять?
...
Рейтинг: 0 / 0
14.05.2013, 19:15
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257248
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Еще вариант - примонтировать на этом промежуточном сервере диски хранилища (NFS-ом или через iSCSI - как там оно умеет? хоть WEBDAV-ом...). Тогда сервер останется, но его локальные диски станут не нужны.
...
Рейтинг: 0 / 0
14.05.2013, 19:18
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257249
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Данные в хранилище возможно все равно только по хттп интерфейсу передавать, хранилищем же управляет тоже софт. Фтп все равно будет писать все на один диск и данные придется потом оттуда так же читать.
...
Рейтинг: 0 / 0
14.05.2013, 19:19
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257250
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
хттп протоколу*
...
Рейтинг: 0 / 0
14.05.2013, 19:20
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257253
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
HettДанные в хранилище возможно все равно только по хттп интерфейсу передаватьНу если "только" и если этот протокол не поддается монтированию (как WEBDAV, например), то я бы подумал о своем самописном FTP-сервере, который получаемые файлы сразу писал бы не на локальный диск, а, опять же, напрямую в хранилище.
...
Рейтинг: 0 / 0
14.05.2013, 19:23
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257255
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
miksoftНу если "только" и если этот протокол не поддается монтированию (как WEBDAV, например), то я бы подумал о своем самописном FTP-сервере, который получаемые файлы сразу писал бы не на локальный диск, а, опять же, напрямую в хранилище.

Это не возможно (в нашем случае), у хранилища много своих причуд, переписывать все с одного языка на другой и поддерживать не предоставляется возможным, уж проще лишних серверов понатыкать :)
...
Рейтинг: 0 / 0
14.05.2013, 19:24
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257261
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
HettmiksoftНу если "только" и если этот протокол не поддается монтированию (как WEBDAV, например), то я бы подумал о своем самописном FTP-сервере, который получаемые файлы сразу писал бы не на локальный диск, а, опять же, напрямую в хранилище.

Это не возможно (в нашем случае), у хранилища много своих причуд, переписывать все с одного языка на другой и поддерживать не предоставляется возможным, уж проще лишних серверов понатыкать :)Хм, или я настолько непонятно пишу, или Вы упорно меня не понимаете... :(
В этом варианте для хранилища ничего не изменится. Изменится то, что показанный в первом посте кусок кода вместо чтения файлов с локального диска станет FTP-сервером для клиентов.
...
Рейтинг: 0 / 0
14.05.2013, 19:31
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257265
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ScareCrow
Участник
авторПроблема в том, что диски не вывозят. На них записывается со скоростью 1 гигабит, и выгружается на этой же скорости, точнее должно бы, но диск так быстро не может писать и читать. Хоть там и норм диски стоят.

Была идея сделать рам диск, но максимум озу 32 гига, а этого мало для временного хранения.
Как понимаю если тут и можно размер буфера чтения увеличить, то это не спасет. Дайте мыслей

диск затыкается по IOPS?
...
Рейтинг: 0 / 0
14.05.2013, 19:34
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257267
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Ааа, понял...
Надо кстати поглядеть, может модули можно для профтпд создать, но что-то кажется так просто это не сделать опять же)
...
Рейтинг: 0 / 0
14.05.2013, 19:36
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257269
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
ScareCrowавторПроблема в том, что диски не вывозят. На них записывается со скоростью 1 гигабит, и выгружается на этой же скорости, точнее должно бы, но диск так быстро не может писать и читать. Хоть там и норм диски стоят.

Была идея сделать рам диск, но максимум озу 32 гига, а этого мало для временного хранения.
Как понимаю если тут и можно размер буфера чтения увеличить, то это не спасет. Дайте мыслей

диск затыкается по IOPS?

Да похоже на то. Общая скорость чтения/записи где-то 50 мегабайт, думаю оно должно больше мочь.
...
Рейтинг: 0 / 0
14.05.2013, 19:38
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257270
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
ScareCrowдиск затыкается по IOPS?А по чему же еще? по трафику SAS-диски гигабитом не напугаешь.
...
Рейтинг: 0 / 0
14.05.2013, 19:38
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257272
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Hettможет модули можно для профтпд создатьВо, теперь меня, кажется, поняли :)
...
Рейтинг: 0 / 0
14.05.2013, 19:39
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257275
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ScareCrow
Участник
miksoftScareCrowдиск затыкается по IOPS?А по чему же еще? по трафику SAS-диски гигабитом не напугаешь.
тогда перерформатировать на больший размер кластера. если есть рейд сделать больше страйп.
...
Рейтинг: 0 / 0
14.05.2013, 19:44
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257280
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Какой размер кластера заюзать? Может какую ФС еще "по легче" взять?
...
Рейтинг: 0 / 0
14.05.2013, 19:49
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38257518
Фотография r u
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
r u
Участник
HettКакой размер кластера заюзать? Может какую ФС еще "по легче" взять?
такие вопросы нужно задавать точно не в форуме по php
...
Рейтинг: 0 / 0
15.05.2013, 05:50
| Ответить | Цитировать | Написать  
PHP, CURL, block size
    #38258107
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ScareCrow
Участник
авторМожет какую ФС еще "по легче" взять?
я несильно знаю линуха, но если там tmpfs не сильно отличается от обычной то проще растянуть её на весь диск и работать с ней. запись там точно по другому идет.
...
Рейтинг: 0 / 0
15.05.2013, 12:54
| Ответить | Цитировать | Написать  
34 сообщений из 34, показаны все 2 страниц
  все  
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / PHP, CURL, block size
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]