Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Проблемы с bcp / 4 сообщений из 4, страница 1 из 1
20.10.2005, 15:14
    #33335390
вопрос
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с bcp
ASE 12.5.0.3
Есть база с табличкой с примерно 80 млн. записями.
В которую еженедельно закачивается 300-600тыс. операций с пом. bcp.
Все нормально, хотя и медленно 2-4 часа обычно (на таблице - индексы, иначе с ней невозможно работать)
И вот, в один прекрасный день bcp начинает "выкидывать коленца":
Сначала на экранчике медленно рисуется (примерный текст)
1тыс. строк закачана
2тыс. строк закачаны
...
Все в одинаковом медленном темпе (порядка 1тыс в 20-30сек) - КАК ВСЕГДА.
Потом - БУМС - и побежала
дальше пишет аналогично
40 тыс. закачаны
41 ...
но очень быстро для ее обычной работы, добегает до конца, закрывает окошко.
Сервер себе думает-думает, потом делает Rollback.
Т.е. записи в итоге - не закачены.

Следов никаких нету - bcp не ругается, сервер - не ругается.
Места в базе полно - и для данных, и для лога.
Что кому не нравится?
Куда рыть?
Что не так?
Уже не знаю что придумать :(

Помогите, плиз...
Спасибо.
...
Рейтинг: 0 / 0
20.10.2005, 19:26
    #33336069
sybdba
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с bcp
ВопросASE 12.5.0.3
Есть база с табличкой с примерно 80 млн. записями.
В которую еженедельно закачивается 300-600тыс. операций с пом. bcp.
Все нормально, хотя и медленно 2-4 часа обычно (на таблице - индексы, иначе с ней невозможно работать)
И вот, в один прекрасный день bcp начинает "выкидывать коленца":
Сначала на экранчике медленно рисуется (примерный текст)
1тыс. строк закачана
2тыс. строк закачаны
...
Все в одинаковом медленном темпе (порядка 1тыс в 20-30сек) - КАК ВСЕГДА.
Потом - БУМС - и побежала
дальше пишет аналогично
40 тыс. закачаны
41 ...
но очень быстро для ее обычной работы, добегает до конца, закрывает окошко.
Сервер себе думает-думает, потом делает Rollback.
Т.е. записи в итоге - не закачены.

Следов никаких нету - bcp не ругается, сервер - не ругается.
Места в базе полно - и для данных, и для лога.
Что кому не нравится?
Куда рыть?
Что не так?
Уже не знаю что придумать :(

Помогите, плиз...
Спасибо.

порежь по тридцатнику тысяч - посмотри, будут ли проблемы

PS резать физически не предлагаю. Предлагаю использовать опции -F & -L
...
Рейтинг: 0 / 0
20.10.2005, 19:28
    #33336071
Zhora
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с bcp
А на чём все это (версион, ОС)? Вообще нет записей или последних ?

Вообще-то по моим понятиям таблица огромная (уж не web logs ли это ?), мало ли что. Ну вот что смущает что не видно (в вашем bcp output) кроме messages типа:
...
40000 rows sent to SQL Server
41000 rows sent to SQL Server
...
Ёще и messages (между ними):
Batch successfully bulk-copied to SQL Server.
т.е.
...
40000 rows sent to SQL Server
Batch successfully bulk-copied to SQL Server.
41000 rows sent to SQL Server
Batch successfully bulk-copied to SQL Server.
...
(Да и как то уж очень медленно даже для slow bcp, хотя конечно 80 млн !)
А это похоже на то что у вас нет -b параметра => все в одну transaction => log overflow , а может abort tran on log full. А error 1105 может нету в errorlog. (Я видел такое при bcp in)
A посылает по 1000, но это не commit. Это как то по другому регулруется

Попробуйте поставить -b1000 (если конечно above correct) + trlog dump.
...
Рейтинг: 0 / 0
21.10.2005, 14:30
    #33337614
вопрос
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблемы с bcp
Спасибо за ответы.

Дело оказалось в следующем.
Заканчивалось место в сегменте для индексов, хотя вообще-то место было - под данные и лог - никто и не ругался - ни сервер, ни bcp.
Выяснилось, когда ручками стали добавлять по кусочкам (закачали сначала в отдельную таблицу через bcp, а потом частями добавляли к основной) - тут и вылезла ошибка.
...
Рейтинг: 0 / 0
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Проблемы с bcp / 4 сообщений из 4, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]