Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Выгрузка данных в файл!? / 13 сообщений из 13, страница 1 из 1
30.11.2004, 13:54
    #32805743
Beginerrr
Beginerrr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
Подскажите возможный вариант ситуевина следующая
в Тэйбле 25 миллионов записей выполняется

UNLOAD (select ..........)
union all
(select ..........)
to 'c:\tttt.dat' format ascii

Данный юнион очень сильно все тормозит, предположим разделим запрос на две части

UNLOAD (select 1..........)
to 'c:\tttt.dat' format ascii
UNLOAD (select 2..........)
to 'c:\tttt.dat' format ascii

и по отдельности выгрузим! Возможно ли выгрузить в один файл два запроса добавлением а не заменой файла!?

ПыСЫ. 'OUTPUT TO fileName APPEND' не подходит, т.к работает тока c Java! Копирование файла в файл тоже не интересно, ждю умные варианты если возможны такие!

Заранее сенькс.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.11.2004, 13:59
    #32805759
ASCRUS
ASCRUS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
Для ASA (как минимум 8-ой версии) в операторе UNLOAD есть опция APPEND ON|OFF. Для IQ скорее всего тоже. Для ASE не знаю.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.11.2004, 14:02
    #32805768
Beginerrr
Beginerrr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
Да забыл уточнить хотелось что то универсальное чтобы работало на разных версиях ASA.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.11.2004, 14:35
    #32805864
Александр Спелицин
Александр Спелицин
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
Выгрузить в разные файлы и затем их тупо объединить через Copy.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.11.2004, 14:40
    #32805879
Beginerrr
Beginerrr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
ПыСЫ. 'OUTPUT TO fileName APPEND' не подходит, т.к работает тока c Java! Копирование файла в файл тоже не интересно, ждю умные варианты если возможны такие!

Можно повнимательнее :0))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.11.2004, 15:00
    #32805925
ASCRUS
ASCRUS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
BeginerrrПыСЫ. 'OUTPUT TO fileName APPEND' не подходит, т.к работает тока c Java! Копирование файла в файл тоже не интересно, ждю умные варианты если возможны такие!

Можно повнимательнее :0))
Других вариантов в голову не приходит :) Тут или UNLOAD APPEND ON или запуск через xp_cmdshell команды copy.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.11.2004, 15:20
    #32805985
Рыжий Кот
Рыжий Кот
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
Если не секрет - что это за предметная область, в которой 25 млн. строк.
Лог прокси сервера?

...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.11.2004, 15:55
    #32806068
Александр Спелицин
Александр Спелицин
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
BeginerrrПыСЫ. 'OUTPUT TO fileName APPEND' не подходит, т.к работает тока c Java! Копирование файла в файл тоже не интересно, ждю умные варианты если возможны такие!

Можно повнимательнее :0))
Хоть и не интересно, но все просто и, самое главное, РАБОТАЕТ!!!
Выгружаем 2 таблицы в разные файлы и затем объединяем их вот такой простой командой:
copy /b Out1.dat + Out2.dat Total_Out.dat

Или Вам важен именно процесс, а не сам результат?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.11.2004, 16:51
    #32806221
Beginerrr
Beginerrr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
UNLOAD ON|OFF есть только в 9 версии сам 8-кой пользуюсь, 25 милиллионов записей в торговой области за 3 года накопилось, простое копирование не интересно хотелось все сделать скриптом, люблю все оптимизировать скрипт и так довольно большой и потом такой юнион не в одном месте а во многих
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.11.2004, 16:59
    #32806245
Vovaka
Vovaka
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
Рыжий КотЕсли не секрет - что это за предметная область, в которой 25 млн. строк.
Лог прокси сервера?



Да любые CDR могут быть, у нас например первичных данных по выделенке, получаемых с нескольких роутеров порядка 100 миллионов записей в сутки :), другое дело, что эти данные все не пишутся в БД, но других данных до миллиона записей в сутки вставляться легко может
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.11.2004, 17:02
    #32806255
Vovaka
Vovaka
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
Beginerrr 25 милиллионов записей в торговой области за 3 года накопилось, простое копирование не интересно хотелось все сделать скриптом, люблю все оптимизировать скрипт и так довольно большой и потом такой юнион не в одном месте а во многих

так если раз в три года - зачем тут что-то выдумывать про оптимизацию ?
сделал и забыл, подумаешь кривой способ, хотя я ИМХО ничего кривого тут не вижу ;)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.12.2004, 05:23
    #32806764
Guest_2
Guest_2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
авторКопирование файла в файл тоже не интересно, ждю умные варианты если возможны такие!
авторлюблю все оптимизировать скрипт и так довольно большой и потом такой юнион не в одном месте а во многих
авторUNLOAD (select ..........)
union all
(select ..........)
to 'c:\tttt.dat' format ascii
Данный юнион очень сильно все тормозит, предположим разделим запрос на две части

А Вам не приходило в голову, что оптимизацию следует начинать со структуры БД? Быть может после её проведения, если не все UNION'ы, то хотя бы какая-нибудь их часть исчезнет? А что, с помощью Java невозможно объеденить 2 текстовых файла?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.12.2004, 07:57
    #32806816
old_joy
old_joy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выгрузка данных в файл!?
Результаты обоих запросов нужно объединить в какой-либо таблице. Например, результат второго запроса вставить в те же поля той же таблицы, из которых идет выборка первого запроса. Возможно придется ввести какой-то общий признак.
Затем выполняете один запрос с unload.
Провереьте, возможно ли все это сделать одной транзакцией с откатом после unload.Надеюсь, что в этом случае выгруженный файл сервак не сотрет :))

Вообще-то в таких случаях надо просчитывать структуру базы еще на этапе проектирования.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Выгрузка данных в файл!? / 13 сообщений из 13, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 958ms
Закрыть
start [/forum/search_topic.php?author=LIker&author_mode=last_topics&do_search=1]:
 0ms
get settings:
 9ms
get forum list:
 14ms
get settings:
 9ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 160ms
get topic data:
 13ms
get forum data:
 2ms
get page messages:
 53ms
get tp. blocked users:
 1ms
others: 677ms
total:  958ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]