ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / IBExpert [игнор отключен] [закрыт для гостей] / Импорт из большого CSV
4 сообщений из 4, страница 1 из 1
Импорт из большого CSV
    #39446787
Kirill Razuvaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Kirill Razuvaev
Участник
Добрый день!
При попытке импорта данных из большого (2,59ГБ) CSV.
Разделитель полей - ,
Разделитель строк - LF
Строки короткие, в пределах 80 символов, поля числовые.
Первая строка с именами полей
Импорт в новую таблицу

После выбора файла и/или смены разделителей валится
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
Error Message:
----------------------------------------
Out of memory

[00404B66] System.@LStrSetLength + $22
[00F53EE5] ImportDataF.TImportDataForm.ChangeTimerTimer (Line 621, "ImportDataF.pas" + 38) + $3
[00472373] ExtCtrls.TTimer.Timer (Line 1322, "ExtCtrls.pas" + 1) + $E
[0044404C] Forms.StdWndProc (Line 1459, "Forms.pas" + 8) + $0
[0044D85B] Forms.TApplication.ProcessMessage (Line 6630, "Forms.pas" + 13) + $1
[00F52D4B] ImportDataF.ImportData (Line 278, "ImportDataF.pas" + 3) + $4
[004DF33C] dxBar.TdxBarItemControl.ControlUnclick (Line 22610, "dxBar.pas" + 28) + $7

IBE 2017.4.19.2
...
Рейтинг: 0 / 0
30.04.2017, 21:00
| Ответить | Цитировать | Написать  
Импорт из большого CSV
    #39446841
IBExpert
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IBExpert
Участник
Там компоненты импорта сначала все в память пытаются засосать. Я в них ковыряться не буду.
Если нужно импортировать из большого CSV, то http://ibexpert.net/ibe/index.php?n=Doc.ScriptExecutive#Insertex
...
Рейтинг: 0 / 0
01.05.2017, 09:13
| Ответить | Цитировать | Написать  
Импорт из большого CSV
    #39447295
Kirill Razuvaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Kirill Razuvaev
Участник
Жаль. Объемы данных все время растут и необходимость удобного импорта больших объемов едва ли снизится.
...
Рейтинг: 0 / 0
02.05.2017, 13:17
| Ответить | Цитировать | Написать  
Импорт из большого CSV
    #39447402
IBExpert
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IBExpert
Участник
Kirill RazuvaevЖаль. Объемы данных все время растут и необходимость удобного импорта больших объемов едва ли снизится.

Ну уж импорт CSV-то автоматизируется проще некуда:
http://www.ibexpert.net/ibe/index.php?n=Doc.ImportingDataFromACSVFile

Ссылку на альтернативный вариант я уже дал.

Наконец, ничто не мешает порезать скриптом же файл на кусочки и скормить их друг за другом ibec_ImportData.
...
Рейтинг: 0 / 0
02.05.2017, 15:33
| Ответить | Цитировать | Написать  
4 сообщений из 4, страница 1 из 1
Форумы / IBExpert [игнор отключен] [закрыт для гостей] / Импорт из большого CSV
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=42&msg=39446841&tid=1599104]:
 0ms
get settings:
 10ms
get forum list:
 16ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 131ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 52ms
get tp. blocked users:
 2ms
others: 262ms
total:  496ms
созд. / загр.: 496ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]