|
Действия ...
|
11.11.2018, 15:41
|
|||
|---|---|---|---|
|
|||
Как быстро добавлять записи в таблицу? |
|||
|
|
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
11.11.2018, 14:32
|
|||
|---|---|---|---|
|
|||
Как быстро добавлять записи в таблицу? |
|||
|
#18+
Написал скрапер, который получает много данных из инета. Сейчас встал вопрос как весь этот мусор ценный дар быстро записывать в БД. При загрузке данных никаких чтений происходить не будет, всю запись можно запустить из- под одного юзера (для монопольного доступа). Есть какие- то паттерны ускорения загрузки данных? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
11.11.2018, 14:41
|
|||
|---|---|---|---|
Как быстро добавлять записи в таблицу? |
|||
|
#18+
AlekseySQL, mysqlimport/LOAD DATA INFILE ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
11.11.2018, 15:33
|
|||
|---|---|---|---|
|
|||
Как быстро добавлять записи в таблицу? |
|||
|
#18+
miksoftAlekseySQL, mysqlimport/LOAD DATA INFILE А зачем данные сначала писать в файл? У меня и так основная нагрузка будет на жесткий диск, а вы предлагаете ее утроить (писать в файл, читать из файла, писать в БД). Я хочу все делать "в потоке": данные получаются и тут же быстро пишутся в БД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
11.11.2018, 15:41
|
|||
|---|---|---|---|
Как быстро добавлять записи в таблицу? |
|||
|
#18+
Собирать блоки по 1-10 тыс. записей (в зависимости от размера записи). Если можно - группировать по кластерному индексу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
11.11.2018, 15:46
|
|||
|---|---|---|---|
Как быстро добавлять записи в таблицу? |
|||
|
#18+
AlekseySQL, Вы же спрашивали "как весь этот мусор ценный дар быстро записывать в БД" - я на это и ответил. Если у вас есть какие-то дополнительные обстоятельства - стоило их указать сразу. Новые варианты: - Использовать RAM-диск для промежуточных файлов. - В исходниках mysqlimport или mysql-клиента найти чтение из файла, написать аналогичный код с подстановкой своих данных вместо файла. - Использовать конструкцию INSERT VALUE (value_list), (value_list), (value_list) ... Это не так быстро, но явно проще предыдущего пункта. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.11.2018, 14:50
|
|||
|---|---|---|---|
|
|||
Как быстро добавлять записи в таблицу? |
|||
|
#18+
AlekseySQLА зачем данные сначала писать в файл? У меня и так основная нагрузка будет на жесткий диск, а вы предлагаете ее утроить (писать в файл, читать из файла, писать в БД). Нормальные люди под базу выделяют отдельный диск, а под временные файлы - другой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=47&mobile=1&tid=1829487]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
31ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
45ms |
get tp. blocked users: |
1ms |
| others: | 13ms |
| total: | 136ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
