ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Как читать большой csv файл более 20 000 строк
9 сообщений из 9, страница 1 из 1
Как читать большой csv файл более 20 000 строк
    #39263601
Syrbek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Syrbek
Гость
Здравствуйте, из-за бюджетного хостинга не успевает крон обработать весь объемный csv файл.
Возможна ли по кускам или менее загрузкой обработать весь файл?
Буду рад любой подсказке. Спасибо.
...
Рейтинг: 0 / 0
28.06.2016, 11:54
| Ответить | Цитировать | Написать  
Как читать большой csv файл более 20 000 строк
    #39263639
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
От алгоритмов обработчика зависит. В общем случае, за каждый запуск правильно сделанного обработчика можно хоть по одной строке перемалывать.
Как вариант, прочитать файл и запихнуть его данные целиком в таблицу БД и там уже построчно обрабатывать.
...
Рейтинг: 0 / 0
28.06.2016, 12:22
| Ответить | Цитировать | Написать  
Как читать большой csv файл более 20 000 строк
    #39263757
Фотография r u
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
r u
Участник
Syrbek,

обрабатывать кусками. после каждой обработки записывать номер строки на которой остановились. и в след раз просто перематывать к ней. и после нее начинать обработку далее.

а можно заранее разбить файл на более мелкие. и их уже обрабатывать по очереди
...
Рейтинг: 0 / 0
28.06.2016, 13:29
| Ответить | Цитировать | Написать  
Как читать большой csv файл более 20 000 строк
    #39263967
Syrbek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Syrbek
Гость
Спасибо, всем. Сменили тариф на хостинге. Жадный хостинг не давал такие возможности( Решила аренда VDS
...
Рейтинг: 0 / 0
28.06.2016, 15:52
| Ответить | Цитировать | Написать  
Как читать большой csv файл более 20 000 строк
    #39263982
Фотография volodin661
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
volodin661
Участник
всего-то 20 000 строк ?!?
умирающий комар чихнул.

и что же представляет из себя скрипт,
который насилует бюджетный хостинг обработкой csv-файла в 20000 строк,
любопытно?
...
Рейтинг: 0 / 0
28.06.2016, 16:08
| Ответить | Цитировать | Написать  
Как читать большой csv файл более 20 000 строк
    #39264082
Syrbek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Syrbek
Гость
volodin661всего-то 20 000 строк ?!?
умирающий комар чихнул.

и что же представляет из себя скрипт,
который насилует бюджетный хостинг обработкой csv-файла в 20000 строк,
любопытно?
Даже обычный пример РНР не до конца не дошел. Достигает лимит CPU на хостинге и вырубается молча, останавливается страница обработки.
Пробовал класть файл в MySQL тоже не разрешает хостинг.
А так буду рад полезным советам на будущее)
...
Рейтинг: 0 / 0
28.06.2016, 17:49
| Ответить | Цитировать | Написать  
Как читать большой csv файл более 20 000 строк
    #39264514
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
Syrbek,

"Класть файл в MySQL" можно не только через LOAD_DATA. Скрипт в несколько строк с этим вполне справляется. Однако, если на хостинге имеется банальная проблема с чтением файла, это уже под вопросом... Что за хостинг и какой тариф?
...
Рейтинг: 0 / 0
29.06.2016, 11:23
| Ответить | Цитировать | Написать  
Как читать большой csv файл более 20 000 строк
    #39318247
Syrbek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Syrbek
Гость
vkleSyrbek,
"Что за хостинг и какой тариф?
Хостинг timeweb тариф Year+
Может надо разбить файл по 600 или 500 строк и по очереди залить?
Может такой скрипт организовать раз уж процессы малы на хостинге?
...
Рейтинг: 0 / 0
30.09.2016, 01:38
| Ответить | Цитировать | Написать  
Как читать большой csv файл более 20 000 строк
    #39319551
alex564657498765453
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex564657498765453
Участник
так если задача стоит не грузить сильно процессор, так не грузить. вставлять делей через каждые Н строк.
...
Рейтинг: 0 / 0
03.10.2016, 12:42
| Ответить | Цитировать | Написать  
9 сообщений из 9, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Как читать большой csv файл более 20 000 строк
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]