ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / C++ [игнор отключен] [закрыт для гостей] / Как быстро вставить 500М из текстового файла?
17 сообщений из 42, страница 2 из 2
  2  все
Как быстро вставить 500М из текстового файла?
    #33962731
anonymous99
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
anonymous99
Гость
Хорошо.
Тогда так.
Мне надо сформировать запрос типа "INSERT INTO table (name, surname) VALUES ('Name', 'Surname');".
Для каждой записи в текстовом файле мне надо писать этот запрос, а потом его выполнять?
Или будет быстрее сразу сформировать несолько таких "insert into" в одном string и затем их все сразу выполнить?
Есть ли разница по скорости?
...
Рейтинг: 0 / 0
04.09.2006, 16:04
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963147
nikname
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
nikname
Гость
Мне кажется вполне очевидным то, что узким местом будет загрузка в БД, а не чтение и парсинг файла с данными. По поводу загрузки - хорошо, если есть bulk insert. Я бы ещё и индекс отключил и построил бы его после загрузки. Оптимизация чтения файла явно не нужна.
...
Рейтинг: 0 / 0
04.09.2006, 17:44
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963183
nikname
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
nikname
Гость
anonymous99Хорошо.
Тогда так.
Мне надо сформировать запрос типа "INSERT INTO table (name, surname) VALUES ('Name', 'Surname');".
Для каждой записи в текстовом файле мне надо писать этот запрос, а потом его выполнять?
Или будет быстрее сразу сформировать несолько таких "insert into" в одном string и затем их все сразу выполнить?
Есть ли разница по скорости?
Лучше сформировать файл типа CSV и загрузить его. Многие БД поддерживают процедуру подобной загрузки. Т.е., возможно, вообще ничего писать не надо, поскольку эти процедуры позволяют настраивать разделители.
LOAD INTO ...
...
Рейтинг: 0 / 0
04.09.2006, 17:51
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963276
nikname
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
nikname
Гость
http://]http://dev.mysql.com/doc/refman/4.1/en/load-data.html
По ссылке - документация MySQL LOAD INTO
...
Рейтинг: 0 / 0
04.09.2006, 18:12
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963293
Dmitrii K.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dmitrii K.
Участник
niknameMySQL
Не стоит спешить, мы пока так и не узнали у автора какая БД используется...
...
Рейтинг: 0 / 0
04.09.2006, 18:16
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963311
nikname
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
nikname
Гость
Dmitrii K. niknameMySQL
Не стоит спешить, мы пока так и не узнали у автора какая БД используется...
LOAD INTO есть в большинстве БД.
...
Рейтинг: 0 / 0
04.09.2006, 18:21
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963353
Dmitrii K.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dmitrii K.
Участник
nikname Dmitrii K. niknameMySQL
Не стоит спешить, мы пока так и не узнали у автора какая БД используется...
LOAD INTO есть в большинстве БД.
Да понятно, см. пред. страницу, я уже приводил пример SQL*Loader )

Просто преждевременно конкретизировать, пока мы не знаем целевой БД.
...
Рейтинг: 0 / 0
04.09.2006, 18:35
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963542
Карабас Барабас
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Карабас Барабас
Участник
Dmitrii K. DK> Просто преждевременно конкретизировать, пока мы не знаем
DK> целевой БДи похоже не узнаем :)
Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
04.09.2006, 20:00
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963612
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Карабас Барабас Dmitrii K. DK> Просто преждевременно конкретизировать, пока мы не знаем
DK> целевой БДи похоже не узнаем :)
Posted via ActualForum NNTP Server 1.3

Угу. А если узнать постановку в оригинале... то и текстовик наверное создавать не стоило.
...
Рейтинг: 0 / 0
04.09.2006, 20:52
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963616
Карабас Барабас
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Карабас Барабас
Участник
mayton m> Угу. А если узнать постановку в оригинале... то и
m> текстовик наверное создавать не стоилоЧто-то подсказывает мне, что исходный файл ему присылают ....
Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
04.09.2006, 20:55
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963624
сикока
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
сикока
Гость
ну вот так всегда, народ возбудился, а возбудитель смылся:)
...
Рейтинг: 0 / 0
04.09.2006, 21:06
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963656
anonymous99
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
anonymous99
Гость
:))
Да тут я. Это вопрос на собеседовании в Яндекс. :)
---
Вот он полностью:
Вам нужно создать в MySQL таблицу со следующей структурой
CREATE TABLE `URL_IDS` (
`ID` INTEGER(11) NOT NULL AUTO_INCREMENT,
`PICTURE_ID` INTEGER(11) NOT NULL UNIQUE,
`URL` VARCHAR(255) NOT NULL,
PRIMARY KEY (`ID`, `URL`))TYPE=MyISAM ;


и быстро вставить в нее 100M записей из файла.
Опишите, как бы вы стали реализовывать эту задачу.
...
Рейтинг: 0 / 0
04.09.2006, 21:25
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963658
anonymous99
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
anonymous99
Гость
Конкретные условия задачи не так важны. Мне интересна методология. Да и вопрос этот не на SQL, а на C++.
Наверно в нем предполагается использовать один из стандартных контейнеров.
...
Рейтинг: 0 / 0
04.09.2006, 21:27
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33963745
Dmitrii K.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dmitrii K.
Участник
anonymous99Конкретные условия задачи не так важны. Мне интересна методология. Да и вопрос этот не на SQL, а на C++.
Наверно в нем предполагается использовать один из стандартных контейнеров.

http://company.yandex.ru/inside/job/comm_developer.xml
Вопрос 3 Базы данных/SQL.

Вам нужно создать в MySQL таблицу со следующей структурой


Сходите по ссылке, которую приводил nikname (он таки угадал с базой ) ).
Ну и спросите в форуме по MySQL, скорее всего это типичная задача.
...
Рейтинг: 0 / 0
04.09.2006, 22:59
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33965608
maXmo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
maXmo
Участник
anonymous99Наверно в нем предполагается использовать один из стандартных контейнеров.нет, в вопросе подразумевается стандартный способ заливки в мускул большого объёма данных - load data infile
...
Рейтинг: 0 / 0
05.09.2006, 15:32
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33972518
anonymous99
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
anonymous99
Гость
Кто-нить в C/C++ это делал? Просвятите, где почитать. Я не в курсах. Надо C API использовать? Или mysql++?
...
Рейтинг: 0 / 0
07.09.2006, 21:59
| Ответить | Цитировать | Написать  
Как быстро вставить 500М из текстового файла?
    #33973285
maXmo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
maXmo
Участник
http://dev.mysql.com/doc/refman/5.0/en/c-api-function-overview.html
прокрути табличку и читай.
...
Рейтинг: 0 / 0
08.09.2006, 11:28
| Ответить | Цитировать | Написать  
17 сообщений из 42, страница 2 из 2
  2  все
Форумы / C++ [игнор отключен] [закрыт для гостей] / Как быстро вставить 500М из текстового файла?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=57&msg=33965608&tid=2030546]:
 0ms
get settings:
 8ms
get forum list:
 19ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 158ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 71ms
get tp. blocked users:
 2ms
others: 196ms
total:  476ms
созд. / загр.: 476ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]