powered by simpleCommunicator - 2.0.44     © 2025 Programmizd 02
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Загрузка MS SQL данными из текстовых файлов
4 сообщений из 4, страница 1 из 1
Загрузка MS SQL данными из текстовых файлов
    #32071704
Коллеги, прошу оказать посильную помощь - в виде идей и предложений.

Задача: необходимо в MS SQL 2000 загрузить данные, которые находятся в текстовых файлах определенной структуры (струкура может быть любой - от *.csv до *.xml; это не принципиально).

Вопросы: какими средствми удобнее решать эту задачу? есть ли универсальные программы преобразования данных? поможет ли решить эту проблему Biz Talk Server? как избежать проблем с производительностью (подразумевается, что данные поступают от 10 и более источников)?

Есть ли у кого реальный опыт в решении указанной задачи? Поделитесь, плз.

Заранее благодарен!
...
Рейтинг: 0 / 0
Загрузка MS SQL данными из текстовых файлов
    #32071809
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть такой продукт DataJunction. Так вот, он понимает тучу разных форматов, а также умеет работать со структурированными текстовыми документами разных форматов (в том числе произвольных, лишь бы структура была).
Делаете визуальными средствами разметку Вашего документа и запускаете движок. Получаете текстовый файл в виде таблицы с заголовками. Дальше - можете им же грузить в базу или использовать bcp. Кстати, форматные файлы для bcp он также умеет генерить.

www.datajunction.com

Придётся платить, но не дорого. Раньше давали демо-версию.

Насчёт производительности - у них есть версии для SMP, то есть грузить можно параллельно (но это уже дороже будет).

В любом случае, рекомендую ознакомиться.

Удачи.

С уважением,
Константин Лисянский

P.S. Это - не реклама. Я не имею никакого отношения к производителю этого продукта.
...
Рейтинг: 0 / 0
Загрузка MS SQL данными из текстовых файлов
    #32071979
Maxim Mamaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я бы посоветовал сделать на DTS. На ваших объемах это будет достаточно хорошо работать даже если запускать последовательно. Все равно будет в диск упираться. Поставьте RAID и забудьте о проблемах производительности. И не связывайтесь с BizTalk. Особенно с вашей задачей. BizTalk Вам ничем задачу не упростит. Вот если бы у Вас была бы необходимость консолидировать данные с разной структурой и сложными преобразованиями и необходимостью репликации изменений в те базы, откуда вы данные будуте брать, тогда да.
...
Рейтинг: 0 / 0
Загрузка MS SQL данными из текстовых файлов
    #32071997
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Опыт есть. Причём следующий:
1. Писали на Дельфях.
2. Делали DTSом. Второй вариант предпочтительнее, если под формат данных существует OLE DB Provider. Случай с *.xls, *.csv.
...
Рейтинг: 0 / 0
4 сообщений из 4, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Загрузка MS SQL данными из текстовых файлов
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]