powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Какой метод добавления записей работает быстрее: через DBD или через конвеер
3 сообщений из 3, страница 1 из 1
Какой метод добавления записей работает быстрее: через DBD или через конвеер
    #32534142
Мне необходимо в БД закинуть соержимое сквидовского Access.log.
Нашел два варианта
1.
Код: plaintext
1.
cat ./access.log | awk '{print "INSERT INTO .... "$1, $2, ...};' | mysql -D ....
2. перловским скриптом
Код: plaintext
1.
2.
3.
4.
5.
6.
use DBD;
$sth=$dbh->prepare("INSERT INTO .... VALUES (?,?,?,?,?)");
while(<ACCESSLOG>){
   @a=split(/ { 1 ,}/,$_, 10 );
   $sth->execute($a[ 0 ],....);
}

какой из них работает быстрее?
Может есть чего еще лучше?
...
Рейтинг: 0 / 0
Какой метод добавления записей работает быстрее: через DBD или через конвеер
    #32534639
Фотография Хрен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
несколько соображений.

Скорость в первом случае будет немного выше, так как отсутсвует промежуточный слой DBI.. Но есть нюанс, DBI/DBD когда подставляет значение в statement, сразу заменяет все опасные символы в значении (типа " на \" ), в случае awk можно и ошибку поймать в sql выражении..

Я бы посоветовал

1) посмотреть на insert delayed вместо insert.. Ну это конечно на ваше усмотрение..

2) Вставлять insert into... values (...),(...),(...) вместо того чтобы на каждую запись отдельный insert. Это быстрее..

3) Запретить индексы на момент вставки. см. ALTER TABLE ... DISABLE KEYS, alter table ... enable keys.

4) еще вариант - с помощью awk/perl/sed преобразовать лог в вид, пригодный для load data infile, и потом загнать данные в mysql с помощью этой команды или с помощью утилиты mysqlimport. Это _намного_ быстрее..
...
Рейтинг: 0 / 0
Какой метод добавления записей работает быстрее: через DBD или через конвеер
    #32534650
Макс М.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AFAIK наибольшую скорость внесения данніх обеспечивает
http://dev.mysql.com/doc/mysql/ru/LOAD_DATA.html
...
Рейтинг: 0 / 0
3 сообщений из 3, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Какой метод добавления записей работает быстрее: через DBD или через конвеер
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]