Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Утилита для импорта / 5 сообщений из 5, страница 1 из 1
28.02.2007, 16:53
    #34361334
Ggg_old
Ggg_old
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утилита для импорта
Существуют ли в природе более навернутые универсальные средства для импорта данных в БД ASA чем у родного isqlj. В частности очень хочется таких возможностей:
1. Возможность написания условных выражений, которые определяют какую строку импортировать, а какую нет.
2. Поддержка несложных вычислений над значениями колонок импортируемой строки (смена формата даты, строковые манипуляции и.т.п).
Все должно отрабатывать еще на клиенте..
Писать свои бриблуды на каждый чих - не хочется, лень ;-)
В идеале мечтаю писать скрипт что-то вроде такого:
Код: plaintext
1.
2.
3.
4.
5.
6.
input 
col1, trim(col2), col3+col4, date(date_col)
into dba.megalog
from "megalog.dbf"
format dbaseIII
where col1="for import" and ...;
Приходится импортировать в БД логи/данные из различных систем, каждые могут иметь очень разный формат представления, содержать избыточные данные. Сейчас приходится как правило делать импорт в промежуточную таблицу а потом уже с вычислениями переносить данные в основную таблицу.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.02.2007, 18:26
    #34361619
White Owl
White Owl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утилита для импорта
Ggg_oldСуществуют ли в природе более навернутые универсальные средства для импорта данных в БД ASA чем у родного isqlj.Существуют конечно. Я сам таких штук шесть уже написал :)

Ggg_oldПриходится импортировать в БД логи/данные из различных систем, каждые могут иметь очень разный формат представления, содержать избыточные данные. Сейчас приходится как правило делать импорт в промежуточную таблицу а потом уже с вычислениями переносить данные в основную таблицу.Это правильный путь. Хотя если импорт данных из чужой системы происходит регулярно, я бы просто попытался сделать прокси таблицу а если это не возможно, сделать таблицу типа "данные_из_абвгд" повторяющую оригинальную структуру данных и повесить на нее триггер который будет копировать все приходящие в таблицу данные в мою глобальную таблицу производя нужную конвертацию.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.02.2007, 21:14
    #34361886
Ggg_old
Ggg_old
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утилита для импорта
Меня напрягает, что вначале во временное хранилище заливается большая порция данных (метров 20-50) на сервер, а потом они перегоняется в реальную таблицу. Таких порций несколько и их количиство будет растет. Все это пока не очень существенно, но стремление к "прекрасному" заставлять более оптимальное решение в виде универсальной тулзы.
Большая часть данных переливается полностью каждый день (полное удаление предыдущих данных), и лишь только небольшая чать данных добавляется инкрементально. От этого размер файла БД пухнет в размере, что-бы держать одновременно исходные и конечные данные.
Я уже не говорю, что одно и тоже через ISQLJ заливается в несколько раз медленнее чем через ISQLC, но ISQLJ более устойчив к формату входных данных.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.02.2007, 22:36
    #34361986
White Owl
White Owl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утилита для импорта
Мигрируете?
У меня когда-то были теже самые симптомы и теже самые сомнения :)
В итоге все это вылилось в небольшой конвертор (C/ODBC) который запускаясь по ночам делал:
Погасить сервер, убить существующую базу, запустить dbinit, запустить сервер, залить в свеженькую базу скрипт со структурой и всеми ХП. А потом по очереди самостоятельно открывал dbf'ки, конвертировал данные, проверял их на правильность, пытался исправлять явные ошибки в данных и по ODBC отправлял данные в базу. Два гигабайта dbf'ок примерно часа за четыре обрабатывалось.
Пока писался клиент под винды, филиалы работали в старой досовой программе. А отчеты уже строились из ASA. Два года в таком режиме прожили :)

---
http://www.rusug.ru] Портал русскоязычной группы пользователей Sybase
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.02.2007, 23:00
    #34362020
antand
antand
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утилита для импорта
Похожая картина и у меня.
Вот тут тему поднимал.
http://www.sql.ru/forum/actualthread.aspx?tid=345522
Все работает как описано через прокси и временные таблицы. Уже 3 года, полет нормальный.
И файлы по 80М не смущают.
Сделана конечно куча работы по оптимизации заливки и обновления данных и все такое.
Еще пробовал все это сделать через DTS от MS в базу ASA - тоже получилось.
В этом смысле DTS интереснее, особенно когда нужна гибкая обработка входных данных. Правда там свои заморочки есть. Руки пока не дошли все через DTS сделать или что подобное.
Тоже как автору хочется сделать "красиво", но вроде как все и так работает нормально, да и другой работы куча.
У Sybase кстати тоже похожие продукты есть интеграции данных.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Утилита для импорта / 5 сообщений из 5, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]