Привет всем.

На Веб сервер помещается текстовый файл с данными с определенно периодичностью:



Его нужно закачать в таблицу. Файл большой, на несколько десятков тысяч записей.

В настоящее время задачу решаем через промежуточный файл, т.е. сначала скачиваем файл на локальный винт (утилитой wget), а дальше обычным импортом закачиваем в таблицу.

Пробовали perl-им скриптом напрямую -- генерацией на лету INSERT ... VALUES ..., но это вариант очень долго работает, раза в четыре медленнее чем через промежуточный файл.

Может кто подскажет способ быстрой закачки данных без создания промежуточного файла?

________________
С уважением, Alex Pretov

fedd LWP::Simple не поможет

дык, так через него и закачиваю данные во втором варианте (perl-ий скрипт), а как дальше их в БД закидывать? Через фирменный модуль mysql.pm все равно тормоза получаются. Я думал можно организовать закачку данных по конвейеру, что вроде

но mysqlimport не поддерживает перенаправление данных... или я что-то неправильно делаю? Или это делается по другому?

________________
С уважением, Alex Pretov

feddв конвеерах не больно рублю, может, > или < поможет?

это и есть механизм перенаправления данных. нет, не работает.

проблемы в свободном месте, но быстрый вариант -- без промежуточных преобразований.

учитывая объем данных, то загрузка данных идет длительная, больше часа, поэтому ускорение на несколько минут уже есть хорошо.

К слову, у MySQL самая быстрая закачка данных, которую мне доводилось видеть...

________________
С уважением, Alex Pretov

больше часа идет _полная обработка_ данных. А файлов таких загружается несколько, если конкретно, то четыре штуки. в тексте предыдущего моего поста очепятка.

если интерсено, могу подсказать конкретный вариант -- организуйте закачку данных через ODBC.

________________
С уважением, Alex Pretov

MaratL Может попытаться использовать в Perl генерировать запрос множественный инсерт?

именно так и был реализован второй вариант. Скорость все равно ужасающе медленная.

к тому же график изменения производительности от кол-ва вставляемых записей в одном операторе -- чашеподобный, т.е. существует определенный оптимум. В моем случае это было порядка 200 записей.

________________
С уважением, Alex Pretov

Хрен2) Посмотри insert delayed по документации, может быть подойдет.
нет, не подойдет:
1) данные заливаются одним большим блоком, когда нагрузки на сервер нет -- т.е. пользователь один -- процесс загрузки данных.
2) insert delayed -- это отложенная операция записи, в данном случае смысла особого не имеет, т.к. речь идет не о единичных и разрозрозненных вставок.

________________
С уважением, Alex Pretov