ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Чем сделать экспорт большой таблицы?
9 сообщений из 9, страница 1 из 1
Чем сделать экспорт большой таблицы?
    #39363851
Marcello
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Marcello
Гость
Приветствую!

Есть большая таблица, более 37 млн.строк. Судя по Database Statistics, эта таблица занимает 5.5 Гб, или 44% всего размера БД. Эту таблицу нужно экспортировать в формат CSV. Пробовал запускать экспорт в IBExpert с вкладки Data (без Fetch All конечно), экспорт доходит до 340 тыс.строк примерно и останавливается. Пробовал с помощью ibeblock, как написано тут - тоже некоторое время спустя Out of memory. Есть ли какой-то способ сделать экспорт в CSV или лучше написать свою утилитку с прямым сбросом строк в файл?
...
Рейтинг: 0 / 0
09.12.2016, 20:51
| Ответить | Цитировать | Написать  
Чем сделать экспорт большой таблицы?
    #39363852
Marcello
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Marcello
Гость
Забыл уточнить: FB 2.5.
...
Рейтинг: 0 / 0
09.12.2016, 20:52
| Ответить | Цитировать | Написать  
Чем сделать экспорт большой таблицы?
    #39363860
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
можно применить isql и перенаправить выхлоп в файл.
...
Рейтинг: 0 / 0
09.12.2016, 21:25
| Ответить | Цитировать | Написать  
Чем сделать экспорт большой таблицы?
    #39363870
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
FBExport.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.12.2016, 22:00
| Ответить | Цитировать | Написать  
Чем сделать экспорт большой таблицы?
    #39363936
Товарищ младший сержант
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Товарищ младший сержант
Участник
MarcelloПриветствую!

Есть большая таблица, более 37 млн.строк. Судя по Database Statistics, эта таблица занимает 5.5 Гб, или 44% всего размера БД. Эту таблицу нужно экспортировать в формат CSV. Пробовал запускать экспорт в IBExpert с вкладки Data (без Fetch All конечно), экспорт доходит до 340 тыс.строк примерно и останавливается. Пробовал с помощью ibeblock, как написано тут - тоже некоторое время спустя Out of memory. Есть ли какой-то способ сделать экспорт в CSV или лучше написать свою утилитку с прямым сбросом строк в файл?
Точно-точно csv нужен?
Может, в формате записей фиксированного размера пойдет? Тогда можно создать внешнюю табличку такой же структуры и выбросить
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
Create table ExtTable external file 'c:\Ext'
(
    ID       INTEGER,
    NAME     VARCHAR(250),
...
);
Commit;
insert into ExtTable select * from MyTable;
...
Рейтинг: 0 / 0
10.12.2016, 01:14
| Ответить | Цитировать | Написать  
Чем сделать экспорт большой таблицы?
    #39363989
IBExpert
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IBExpert
Участник
Надо правильные способы использовать:
http://www.ibexpert.net/ibe/index.php?n=Doc.ScriptExecutive#Output
http://www.ibexpert.net/ibe/index.php?n=Doc.EXPORTASINTO

SELECT ... AS DATASET создает двунаправленный набор данных в памяти клиента. Соответственно, все засасывается и живет там до закрытия датасета.
...
Рейтинг: 0 / 0
10.12.2016, 10:02
| Ответить | Цитировать | Написать  
Чем сделать экспорт большой таблицы?
    #39364063
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Marcello,

http://www.ibase.ru/impexp/
...
Рейтинг: 0 / 0
10.12.2016, 14:02
| Ответить | Цитировать | Написать  
Чем сделать экспорт большой таблицы?
    #39364673
Marcello
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Marcello
Гость
Спасибо всем за советы.
FBExport не подошел, т.к. вместо ,NULL, он возвращает пустоту ,, .
Попробую этот способ , т.к. требуется еще и некоторое форматирование данных для последующего использования, к примеру, дату нужно в виде '%Y-%m-%d' и т.д.
Буду пробовать.
...
Рейтинг: 0 / 0
12.12.2016, 09:36
| Ответить | Цитировать | Написать  
Чем сделать экспорт большой таблицы?
    #39364681
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Marcello,

гм, да любые средства экспорта вместо NULL в строку пишут "пустоту". Это только если ты сам возьмешь что-нибудь типа
TIBOutputDelimitedFile и для null будешь использовать волшебное слово (пусть даже и само null), как при экспорте, так и при импорте.
...
Рейтинг: 0 / 0
12.12.2016, 09:54
| Ответить | Цитировать | Написать  
9 сообщений из 9, страница 1 из 1
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Чем сделать экспорт большой таблицы?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?desktop=1&fid=40&tid=1561809]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 49ms
get topic data:
 12ms
get forum data:
 2ms
get page messages:
 44ms
get tp. blocked users:
 1ms
others: 284ms
total:  423ms
созд. / загр.: 423ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]