|
Как быстро добавлять записи в таблицу?
|
||
|---|---|---|
Участник
Откуда: Зеленоград, Москва, Россия
Сообщения: 20 644 |
||
| 11.11.2018, 15:41 |
|
|
|
|
|
Как быстро добавлять записи в таблицу?
|
|||
|---|---|---|---|
|
#18+
Написал скрапер, который получает много данных из инета. Сейчас встал вопрос как весь этот мусор ценный дар быстро записывать в БД. При загрузке данных никаких чтений происходить не будет, всю запись можно запустить из- под одного юзера (для монопольного доступа). Есть какие- то паттерны ускорения загрузки данных? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2018, 14:32 |
|
||
|
Как быстро добавлять записи в таблицу?
|
|||
|---|---|---|---|
|
#18+
AlekseySQL, mysqlimport/LOAD DATA INFILE ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2018, 14:41 |
|
||
|
Как быстро добавлять записи в таблицу?
|
|||
|---|---|---|---|
|
#18+
miksoftAlekseySQL, mysqlimport/LOAD DATA INFILE А зачем данные сначала писать в файл? У меня и так основная нагрузка будет на жесткий диск, а вы предлагаете ее утроить (писать в файл, читать из файла, писать в БД). Я хочу все делать "в потоке": данные получаются и тут же быстро пишутся в БД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2018, 15:33 |
|
||
|
Как быстро добавлять записи в таблицу?
|
|||
|---|---|---|---|
|
#18+
Собирать блоки по 1-10 тыс. записей (в зависимости от размера записи). Если можно - группировать по кластерному индексу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2018, 15:41 |
|
||
|
Как быстро добавлять записи в таблицу?
|
|||
|---|---|---|---|
|
#18+
AlekseySQL, Вы же спрашивали "как весь этот мусор ценный дар быстро записывать в БД" - я на это и ответил. Если у вас есть какие-то дополнительные обстоятельства - стоило их указать сразу. Новые варианты: - Использовать RAM-диск для промежуточных файлов. - В исходниках mysqlimport или mysql-клиента найти чтение из файла, написать аналогичный код с подстановкой своих данных вместо файла. - Использовать конструкцию INSERT VALUE (value_list), (value_list), (value_list) ... Это не так быстро, но явно проще предыдущего пункта. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.11.2018, 15:46 |
|
||
|
Как быстро добавлять записи в таблицу?
|
|||
|---|---|---|---|
|
#18+
AlekseySQLА зачем данные сначала писать в файл? У меня и так основная нагрузка будет на жесткий диск, а вы предлагаете ее утроить (писать в файл, читать из файла, писать в БД). Нормальные люди под базу выделяют отдельный диск, а под временные файлы - другой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2018, 14:50 |
|
||
|
|
start [/forum/topic.php?fid=47&msg=39731355&tid=1829487]: |
0ms |
get settings: |
9ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
44ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
48ms |
get tp. blocked users: |
2ms |
| others: | 256ms |
| total: | 390ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
