ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
11 сообщений из 11, страница 1 из 1
PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
    #38903865
Тратата
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тратата
Гость
получаю данные из файла при помощи PHP fread()
как лучше и быстрее их потом вносить в бд?
...
Рейтинг: 0 / 0
13.03.2015, 14:00
| Ответить | Цитировать | Написать  
PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
    #38903968
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
Некоторые СУБД умеют читать данные непосредственно из файла, даже позиционируют этот вариант как самый быстрый способ загрузки данных.
...
Рейтинг: 0 / 0
13.03.2015, 14:53
| Ответить | Цитировать | Написать  
PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
    #38903975
Фотография Герой дня
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Герой дня
Участник
сгенерируй sql файл с пакетной вставкой, когда в одном insert into данные для нескольких десятков-сотен строк - вставлять будет практически моментально
...
Рейтинг: 0 / 0
13.03.2015, 14:56
| Ответить | Цитировать | Написать  
PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
    #38904039
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ScareCrow
Участник
LOAD DATA INFILE
...
Рейтинг: 0 / 0
13.03.2015, 15:24
| Ответить | Цитировать | Написать  
PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
    #38904068
Тратата
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тратата
Гость
я работаю с MySQL, файл откуда я беру инфу формата *.dbf (FoxPro,dBase)
я его читаю fread() бинарное чтение
у меня мысля такая перегнать в txt с разделителем | . Далее LOAD DATA INFILE
это быстрее,чем *.sql формировать?

P.S. тестить буду ночью, сейчас нужно набросать все варианты
...
Рейтинг: 0 / 0
13.03.2015, 15:36
| Ответить | Цитировать | Написать  
PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
    #38904069
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Трататау меня мысля такая перегнать в txt с разделителем | . Далее LOAD DATA INFILE
это быстрее,чем *.sql формировать?Да, быстрее.
...
Рейтинг: 0 / 0
13.03.2015, 15:37
| Ответить | Цитировать | Написать  
PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
    #38904101
Тратата
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тратата
Гость
сейчас fwrite() делал 40мб
плин долго пишет в файл, так не пойдет
а есть какая альтернатива потоком сразу вносить (аналог LOAD DATA INFILE) ?
по времени долговато пишет в файл, а файлики с данными могут быть и 500мб
...
Рейтинг: 0 / 0
13.03.2015, 15:52
| Ответить | Цитировать | Написать  
PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
    #38904112
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Трататаейчас fwrite() делал 40мб
плин долго пишет в файл, так не пойдетДолго - это сколько? И уверены, что долго идет именно запись, а не разбор dbf, например?
...
Рейтинг: 0 / 0
13.03.2015, 15:59
| Ответить | Цитировать | Написать  
PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
    #38904323
Тратата
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тратата
Гость
miksoft, разбор там быстро делается
ну где-то 40 мб пишет в файл 15-20 сек, для меня это не быстро
в принцепе пойдет, если других вариантов быстрее нету
если бы был вариант через оперативную память вместо файла, было бы быстрее конечно
...
Рейтинг: 0 / 0
13.03.2015, 17:41
| Ответить | Цитировать | Написать  
PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
    #38904335
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Трататану где-то 40 мб пишет в файл 15-20 сек, для меня это не быстроЭто вы что-то не так делаете. Не должно быть так медленно.
У меня на даже виртуальном хостинге сам MySQL аналогичный объем быстрее в себя загружал, хотя работы там намного больше, чем просто работа с файлом.
...
Рейтинг: 0 / 0
13.03.2015, 17:49
| Ответить | Цитировать | Написать  
PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
    #38904350
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
Тратата40 мб пишет в файл 15-20 сек, для меня это не быстроЭто и для файловой системы не быстро. Возможно, алгоритм слишком не оптимален.

Трататаесли бы был вариант через оперативную память вместо файла, было бы быстрее конечноНу а что мешает? По мере вытягивания данных из dbf формируйте текст sql-запроса INSERT к мускулю. Набрали какое-то количество записей (или объём данных) - выполнили запрос. Так порциями и закидываете все данные.
...
Рейтинг: 0 / 0
13.03.2015, 17:56
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / PHP Получаю данные из файла, нужен быстрый метод перегнать в MySQL
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]