ReSQL.ru
     
powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Ускорение импорта данных
20 сообщений из 20, страница 1 из 1
Ускорение импорта данных
    #39965671
Фотография _Vasilisk_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Vasilisk_
Участник
Нужно на сервер залить большой объем данных (sql: 17 гиг, lob: 38 гиг). Файлы данных, клиент, сервер находятся на одной физической машине. Загружаю через IBExpert. Сейчас прогнозированное время загрузки 117 часов.

Вопрос: можно ли как-то радикально увеличить скорость загрузки настройками сервера? Индексов в базе нет. Триггеры отключены.

Операция разовая.

Идею выгружать данные в разные файлы, а потом грузить несколькими клиентами знаю и сейчас над ней думаю


С уважением, Vasilisk
...
Рейтинг: 0 / 0
03.06.2020, 14:22
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965681
AltHasp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AltHasp
Участник
_Vasilisk_,

IBeScript быстрее будет, чем IBExpert (хотя автор у них один). Если есть возможность использовать RAMDisk для временных файлов и разнести сервер и клиент на разные процы. А машина какая (CPU,RAM, hdd/ssd) ?

Удачи !
...
Рейтинг: 0 / 0
03.06.2020, 14:34
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965682
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
_Vasilisk_,

_Vasilisk_потом грузить несколькими клиентами
только в разные таблицы.

ssd ?
...
Рейтинг: 0 / 0
03.06.2020, 14:35
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965689
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
FW = off.
XNET.
Ну и просто посмотреть resmon-ом где, собственно, бутылочное горлышко.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
03.06.2020, 14:40
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965707
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakov
XNET
embedded, какой xnet
...
Рейтинг: 0 / 0
03.06.2020, 14:59
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965710
Фотография _Vasilisk_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Vasilisk_
Участник
AltHasp
IBeScript быстрее будет, чем IBExper
Я все равно гружу функцией ibec_ExecSQLScript, так что разницы, думаю, не будет
AltHasp
RAMDisk для временных файлов
Мысль!
AltHasp
А машина какая (CPU,RAM, hdd/ssd) ?
Какой-то виртуальный сервер. 6 ядер 16 гиг. Диск ХЗ. Там все виртуализировано
kdv
только в разные таблицы.
Значит не прокатит. У меня 80% данных лежат в двух таблицах. Во второй лежит 95% блобов всей базы
Dimitry Sibiryakov
FW = off.
XNET.
Спасибо
...
Рейтинг: 0 / 0
03.06.2020, 15:01
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965718
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladembedded, какой xnet

Так-то оно, конечно, да, но у меня теплится надежда на возможность распараллеливания
работы СУБД и клиента, парсящего файлы.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
03.06.2020, 15:08
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965747
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakov
у меня теплится надежда на возможность распараллеливания
работы СУБД и клиента, парсящего файлы.
В каком месте она сама появится ?

Клиент вполне может попробовать в несколько потоков загружать данные.
...
Рейтинг: 0 / 0
03.06.2020, 15:34
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965749
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
_Vasilisk_,

ещё есть EXTERNAL TABLE, но их нужно уметь готовить, и понимать проблемы с нуллами
...
Рейтинг: 0 / 0
03.06.2020, 15:35
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965754
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
hvlad,

так они же вроде не умеют работать с блобами, а у ТС большая часть базы из них
...
Рейтинг: 0 / 0
03.06.2020, 15:41
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965773
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Симонов Денис,

да, блобы я упустил
...
Рейтинг: 0 / 0
03.06.2020, 16:02
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965779
Фотография _Vasilisk_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Vasilisk_
Участник
Dimitry Sibiryakov
Так-то оно, конечно, да, но у меня теплится надежда на возможность распараллеливания
работы СУБД и клиента, парсящего файлы.
По статистике IBExpert и Firebird загружают процессор поровну
hvlad
ещё есть EXTERNAL TABLE,
Мне нужно раз влить данные и забыть об этом навсегда
...
Рейтинг: 0 / 0
03.06.2020, 16:09
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965780
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
shalamyansky
Участник
_Vasilisk_

Идею выгружать данные в разные файлы, а потом грузить несколькими клиентами знаю и сейчас над ней думаю


Я так делаю. База и входные данные на полтора десятичных порядков больше, чем у вас, время загрузки одним клиентом около месяца. данные раскидываются по всем таблицам, тех около 200.

Провел эксперимент с параллельными клиентами. Дедлоки случаются, но нечасто, данные сравнительно хорошо сегментированы. Опытным путем определил оптимум в 4 клиента. И да, загрузка быстрее в разы, если не в 4, то раза в 3 точно. Все клиенты и сервер на одном компьютере. Но в моей задаче довольно много работы у клиента - парсит xml файлы.
...
Рейтинг: 0 / 0
03.06.2020, 16:10
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965813
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
shalamyansky,

На похожей задаче в дополнение к многопотоковому парсингу/вставке за счет применения FireDAC Array DML у меня получилось дополнительно ускориться еще примерно на 40%.
...
Рейтинг: 0 / 0
03.06.2020, 17:12
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965818
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Vlad F,

Batch API 4.0 рулит 22080521 но только при использовании сетевых протоколов. На embedded никакого выигрыша не даёт, что ожидаемо
...
Рейтинг: 0 / 0
03.06.2020, 17:18
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965822
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
Симонов Денис,

Четверки я на том проекте так и не дождался, однако и на тройке, причем, именно в embedded варианте, получил описанное ускорение. Так что затеваться, имхо, стоит.
...
Рейтинг: 0 / 0
03.06.2020, 17:26
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965847
Фотография _Vasilisk_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Vasilisk_
Участник
Симонов Денис
Batch API 4.0 рулит 22080521 но только при использовании сетевых протоколов. На embedded никакого выигрыша не даёт, что ожидаемо
Т.е. Embedded все-таки сильно лучше чем локальный XNET? На стандартном API. Или я неправильно читаю статистику?
...
Рейтинг: 0 / 0
03.06.2020, 18:13
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965960
fraks
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fraks
Участник
Я бы еще входные данные поделил на кусочки, или заранее продумал что делать в случае частичного импорта.

Т.е. если на 101 часе "что-то пошло не так" и загрузка прервалась, что бы можно было грузить не опять все заново а хотя бы не все, или в идеале - только то что еще не загружено.
...
Рейтинг: 0 / 0
04.06.2020, 03:54
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39965994
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
_Vasilisk_,

правильно. Любой дополнительный слой создаёт дополнительные издержки
...
Рейтинг: 0 / 0
04.06.2020, 09:19
| Ответить | Цитировать | Написать  
Ускорение импорта данных
    #39966012
Фотография _Vasilisk_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Vasilisk_
Участник
fraks
Я бы еще входные данные поделил на кусочки, или заранее продумал что делать в случае частичного импорта.
Это я уже
Симонов Денис
правильно.
Спасибо за информацию и за статистику
...
Рейтинг: 0 / 0
04.06.2020, 10:27
| Ответить | Цитировать | Написать  
20 сообщений из 20, страница 1 из 1
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Ускорение импорта данных
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&msg=39965754&tid=1560337]:
 0ms
get settings:
 11ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 51ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 58ms
get tp. blocked users:
 1ms
others: 13ms
total:  166ms
созд. / загр.: 166ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]