ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Долгий импорт Excel -> FB
17 сообщений из 17, страница 1 из 1
Долгий импорт Excel -> FB
    #38990401
aidynchik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aidynchik
Участник
Всем доброго дня!
Импортирую данные из Ексель в Firebird 2.5. Таблица обычная, без всяких индексов и прочего, даже примари ключа нет.
Импорт происходит из Дельфи, OleObject, тупо иду по строчкам и делаю инсерт в таблицу через FIBQuery. Коммит один в конце. Никаких проверок. Каждую 1000 записей вывожу в Мемо, что загружено.
Импорт 65000 записей занимает 7-8 минут, импорт 10000 где-то 2 минуты. А я тут на форуме читал, что 20000 грузят за 15-20 секунд.
Я что-то делаю не так?
...
Рейтинг: 0 / 0
23.06.2015, 10:43
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38990406
miwaonline
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miwaonline
Участник
aidynchikИмпорт происходит из Дельфи, OleObject, тупо иду по строчкам и делаю инсерт в таблицу через FIBQuery. Коммит один в конце.

Prepare? Autocommit? Вообще любые auto*?
aidynchikА я тут на форуме читал, что 20000 грузят за 15-20 секунд.
Я что-то делаю не так?
Проверь на той же базе и таблице через ibexpert/generate test data.
...
Рейтинг: 0 / 0
23.06.2015, 10:50
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38990424
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
Hello, Aidynchik!
You wrote on 23 июня 2015 г. 11:03:23:

Aidynchik> Импорт происходит из Дельфи, OleObject
OLE не нужен.
вытряхни в файл и забудь про OLE.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
23.06.2015, 11:03
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38990442
aidynchik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aidynchik
Участник
miwaonline,

ничего нет, попробовал через Експерт - как раз и заняло секунд 10-15.
...
Рейтинг: 0 / 0
23.06.2015, 11:16
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38990446
aidynchik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aidynchik
Участник
Мимопроходящий,

я извиняюсь за глупый вопрос - что значит вытряхни в файл? создать текстовый файл и бегать по нему?
...
Рейтинг: 0 / 0
23.06.2015, 11:17
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38990449
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
Hello, Aidynchik!
You wrote on 23 июня 2015 г. 11:20:25:

Aidynchik> я извиняюсь за глупый вопрос - что значит вытряхни в файл?
> создать текстовый файл и бегать по нему?
это уж как тебе удобно.
хочешь "бегай по нему", а хочешь - пристегни к базе как EXTERNAL TABLE.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
23.06.2015, 11:20
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38990460
aidynchik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aidynchik
Участник
Мимопроходящий,

но чтобы вытряхнуть в файл - все равно ведь придется подключить ОЛЕ, я не могу уловить суть...
Импорт из Ексель - операция периодическая, ее потом будет делать юзер
...
Рейтинг: 0 / 0
23.06.2015, 11:29
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38990467
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
Hello, Aidynchik!
You wrote on 23 июня 2015 г. 11:33:19:

Aidynchik> но чтобы вытряхнуть в файл - все равно ведь придется подключить ОЛЕ,
> я не могу уловить суть...
чтобы вытряхнуть в файл нужно выполнить всего одну операцию - "save as"
а не шаройобиться по всем ячейкам таблицы посредством тормозного OLE.
Aidynchik> Импорт из Ексель - операция периодическая, ее потом будет делать юзер
документооборот на основе MS Office нужно выжигать калёным железом.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
23.06.2015, 11:35
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38990474
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
Еще как вариант зафигачить формулу, которая из каждой строки сделает строку вида
insert into (f1,f2,f3 ...) values (val1, val2, val3 ...)
сохранить как текст и скормить isql, ну еще коммитов примерно по одному на тыщу строк навтыкать.
...
Рейтинг: 0 / 0
23.06.2015, 11:39
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38990478
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
aidynchik,

OLE конечно тормозное говно, но если с ним правильно работать то и его можно ускорить

http://www.webdelphi.ru/2012/01/bystraya-obrabotka-dannyx-excel-v-delphi/
...
Рейтинг: 0 / 0
23.06.2015, 11:42
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38990492
aidynchik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aidynchik
Участник
я так понял, что не в той ветке создал задачу в итоге :)
Модератор, перенесите пожалуйста в Дельфи
...
Рейтинг: 0 / 0
23.06.2015, 11:51
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38990508
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
Уж вроде все способы описали, чего топик туда-сюда перебрасывать?
...
Рейтинг: 0 / 0
23.06.2015, 11:58
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38990524
aidynchik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aidynchik
Участник
Ivan_Pisarevsky,

на будущее :) пусть там висит

А по поводу ускорения, Денис, спасибо огромное - грузится за секунды
...
Рейтинг: 0 / 0
23.06.2015, 12:11
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38992741
WildSery
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WildSery
Участник
Офигеть, а что, кто-то до сих пор из Екселя не через вариантный массив, а через отдельные ячейки грузит?
...
Рейтинг: 0 / 0
25.06.2015, 14:42
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38992753
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
WildSery,

первый раз почти все наступают на эти грабли
...
Рейтинг: 0 / 0
25.06.2015, 14:48
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38992790
Фотография DarkMaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DarkMaster
Участник
WildSery,

А в большинстве FAQ оно приведено... Вот и копируют бездумно из старых FAQ, а потом героически борются.
...
Рейтинг: 0 / 0
25.06.2015, 15:15
| Ответить | Цитировать | Написать  
Долгий импорт Excel -> FB
    #38993716
WildSery
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WildSery
Участник
Глянул, что гугль выдаёт.
Действительно, в основном поячеечный доступ. Работу с массивом не сразу и нашёл.
Беда.
...
Рейтинг: 0 / 0
26.06.2015, 14:30
| Ответить | Цитировать | Написать  
17 сообщений из 17, страница 1 из 1
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Долгий импорт Excel -> FB
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&gotonew=1&tid=1562756]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 33ms
get topic data:
 12ms
get first new msg:
 8ms
get forum data:
 3ms
get page messages:
 63ms
get tp. blocked users:
 1ms
others: 272ms
total:  422ms
созд. / загр.: 422ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]