Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Informix [игнор отключен] [закрыт для гостей] / перенос таблицы в другой dbspace / 25 сообщений из 27, страница 1 из 2
28.02.2005, 19:48
    #32937319
cpr
cpr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
Таблица большая 24 миллиона записей
традиционно я переносил до сих пор dbload'ом
но тут чувствую времени не хватит.
Присоветуйте не пользовался ли кто для этих целей альтер фрагментом?
Очень уж на нее ссылок много.
Хочется чтоб без удаления таблицы. (типа мечта идиота)
...
Рейтинг: 0 / 0
28.02.2005, 20:34
    #32937354
Daugava
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
альтер-фрагмент как раз по этим делам.
...
Рейтинг: 0 / 0
28.02.2005, 20:44
    #32937364
cpr
cpr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
а как насчет размера таблицы?
onload не быстрее будет?
...
Рейтинг: 0 / 0
28.02.2005, 20:52
    #32937375
cpr
cpr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
вопросы более конкретные

1 после выполнения альтер фрагмент с таким условием, что все записи окажутся в новом дбспэйсе, в старом чанки освободятся ? (сомневаюсь)

2 где останутся индексы?
дело в том, что мне надо полностью освободить старое пространство. если индексы останутся в старом, то ничего не приходит в голову кроме их пересоздания.
...
Рейтинг: 0 / 0
01.03.2005, 00:21
    #32937511
cpr
cpr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
ага
оказывается есть специальная олция
...
Рейтинг: 0 / 0
01.03.2005, 12:01
    #32938252
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
Напиши потом, пожалуйста, сколько будет длиться перенос 24млн. строк (и сколько это в Мб) с одного пространства в другое и какая физическая скорость копирования с винта - интересует, насколько скорость переноса будет близка к физической скорости копирования.
...
Рейтинг: 0 / 0
01.03.2005, 15:07
    #32938938
cpr
cpr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
во вчерашнем ночном эксперименте переносилась таблица 5 с лишним миллионов записей. onstat -d показал примерно 2 с половиной гига занятого пространства. Все пространства и темп и логдбспэйс и рабочие находились на одном винте. винт FC машина SUN Blade 1000 2CPU ULTRASPARC 3 750 Мгц
перенос происходил 31 минуту.
Журнализация естественно была выключена.
про результаты на рабочей системе позже
...
Рейтинг: 0 / 0
01.03.2005, 19:53
    #32939799
Daugava
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
Я думаю, что не лишне было бы указать row size.
...
Рейтинг: 0 / 0
02.03.2005, 02:26
    #32940004
cpr
cpr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
{ TABLE "informix".logreesdoc row size = 400 number of columns = 39 index size =
186 }
...
Рейтинг: 0 / 0
02.03.2005, 08:59
    #32940145
Andron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
Использовали alter fregment несколько раз для переноса таблиц между дбспэйсами (журналирование базы не выключали поскольку в это время там работали другие пользователи). При выполнении alter frament на больших таблицах нужно обязательно учитывать что может возникнуть длинная транзакция, поэтому перед этим желательно сделать бэкап.
...
Рейтинг: 0 / 0
02.03.2005, 13:14
    #32940940
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
cprво вчерашнем ночном эксперименте переносилась таблица 5 с лишним миллионов записей. onstat -d показал примерно 2 с половиной гига занятого пространства. Все пространства и темп и логдбспэйс и рабочие находились на одном винте. винт FC машина SUN Blade 1000 2CPU ULTRASPARC 3 750 Мгц
перенос происходил 31 минуту.

Скорость, примерно, 1,5М/сек и хотя я не знаю о скорости винтов, но , мне кажется, медленновато (даже с учетом, что все было на одном винте и среднюю скорость можно удвоить). К тому же, логирование было выключено
cpr
Журнализация естественно была выключена.

Кстати, а если сервер упадет в процессе переноса? Скорее всего, чанки будут в дауне ?
...
Рейтинг: 0 / 0
02.03.2005, 13:18
    #32940960
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
У меня тут мелькнула идея, но она хорошо реализуема только в том случае, если эта большая таблица занимает отдельное ДБ-пространство.
Тогда я бы предложил создать зеркало, спокойно подождать даже не прерывая работы, пока оно синхронизируется с первичным пространством, а затем выключить первичное пространство, разорвав зеркало. Т.е. типичная операция по горячей замене диска.
...
Рейтинг: 0 / 0
02.03.2005, 19:30
    #32942315
cpr
cpr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
во время выполнения альтер фрагмент, чтения из пространства источника выполняется примерно со скоростью, доходящей до 30 метров в секунду.
При этом некоторая часть данных резервируется в исходном дбспэйсе. Запись идет со скоростью около 4 мегабайт в секунду. К тому же судя по характеру обмена данными при завершении переноса перестраиваются индексы, а это само по себе не быстро.
С зеркалом номер не пройдет, возможности нет тк зеркало уже на уровне соляриса раз, а два перенос будет происходить на винт с другой структурой дбпространств, номысль интересная.
Кстати вот запись идет не быстрее 4-х метров в секунду и все. Наш рут только руками разводит. Но правда запись идет через механизмы очистки буферов LRU, так что она в принципе должна быть медленнее чем физические возможности винта. Но вот чтоб настолько...
...
Рейтинг: 0 / 0
03.03.2005, 10:18
    #32942916
Ilya Kulagin
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
cprво время выполнения альтер фрагмент, чтения из пространства источника выполняется примерно со скоростью, доходящей до 30 метров в секунду.
Кстати вот запись идет не быстрее 4-х метров в секунду и все. Наш рут только руками разводит. Но правда запись идет через механизмы очистки буферов LRU, так что она в принципе должна быть медленнее чем физические возможности винта. Но вот чтоб настолько...

Совершенно аналогичная картина. Физическая скорость (по dd) - 20 метров в секунду, логическая при чтении onunload - 8 метров в секунду, логическая при записи onload - 2 метра в секунду.

Это я вчера четырёхснебольшимгиговую таблицу на другой сервер оттаскивал, после замены на ём всего на свете, включая диски. Заодно поразглядывал iostat.

Да. Чуть не забыл. Логическое чтение ontape - 12 метров в секунду.
...
Рейтинг: 0 / 0
03.03.2005, 11:50
    #32943246
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
Ilya Kulagin cprво время выполнения альтер фрагмент, чтения из пространства источника выполняется примерно со скоростью, доходящей до 30 метров в секунду.
Кстати вот запись идет не быстрее 4-х метров в секунду и все. Наш рут только руками разводит. Но правда запись идет через механизмы очистки буферов LRU, так что она в принципе должна быть медленнее чем физические возможности винта. Но вот чтоб настолько...
Совершенно аналогичная картина. Физическая скорость (по dd) - 20 метров в секунду, логическая при чтении onunload - 8 метров в секунду, логическая при записи onload - 2 метра в секунду.
Да. Чуть не забыл. Логическое чтение ontape - 12 метров в секунду.
Вот и меня смущает сильно большая разница при чтении и записи...
А достаточно было очистителей (cleaners) и KAIO на эти операции?

Странно, почему onunload и ontape так отличаются скоростью чтения - обе утилиты читают двоичными страницами без всяких преобразований. Может потому, что 1-я написана индусами ? ;))
...
Рейтинг: 0 / 0
03.03.2005, 15:45
    #32944077
В.К.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
vasilisСтранно, почему onunload и ontape так отличаются скоростью чтения - обе утилиты читают двоичными страницами без всяких преобразований. Может потому, что 1-я написана индусами ? ;))

Думаю, что у onunload все таки работы побольше будет - искать очередной экстент таблицы, принадлежащей базе, и т.п. А ontape тупо сканирует страницы чанков, просматривая только их заголовок. И либо пишет, либо нет. Да и разница-то всего в 1,5 раза :)

Вот один индус есть, очень хороший: http://www.kernelthread.com/

Так вот (он, сечас, вроде в IBM работает), судя по тому, что он пишет и сделал, он один "уделал" бы всех нынешних разработчиков Informix 10.0 вместе взятых...
...
Рейтинг: 0 / 0
03.03.2005, 16:14
    #32944214
cpr
cpr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
Кстати при переносе alter fragment'ом пару раз прерывал выполнение запроса и все оставалось как было без проблем. А вот сервак валить мне не дали ;-)
...
Рейтинг: 0 / 0
03.03.2005, 18:02
    #32944671
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
cprКстати при переносе alter fragment'ом пару раз прерывал выполнение запроса и все оставалось как было без проблем.
Тут непонятно - "все оставалось как было без проблем", т.е. все вернулось в исходное состояние (и это без поддержки транзакций) ? Или было промежуточное состояние, когда часть таблицы была в одном пространстве, а часть в другом, после которого повторное выполнение alter fragment просто продолжало работу ?
...
Рейтинг: 0 / 0
03.03.2005, 18:18
    #32944714
cpr
cpr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
Все вернулось в исходное состояние, при выключенной журнализации.
...
Рейтинг: 0 / 0
03.03.2005, 19:29
    #32944840
Ilya Kulagin
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
vasilis

Странно, почему onunload и ontape так отличаются скоростью чтения

Ну не так уж и сильно они отличаются. Особенно, если учесть, что ontape я глядел на новом сервере, "пустом", а onunload, - на старом, который в это время обслуживал народ.

А вот чем onload занимается, мне даже интересно стало. Сегодня очередную таблицу потащил, mpstat показывает дословно:

CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys wt idl
0 0 0 424 1836 434 2015 0 297 36 0 2905 5 5 0 90
1 2 0 300 1140 4 2168 0 295 35 0 3184 4 6 0 90
CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys wt idl
0 0 0 224 1778 411 1609 5 284 47 0 2378 6 5 0 89
1 0 0 450 973 4 2303 16 287 46 0 2998 4 5 0 90
CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys wt idl
0 0 0 254 2543 714 1097 18 207 34 0 1178 6 3 0 91
1 0 0 1173 1058 6 2005 6 205 30 0 1389 4 6 0 89
CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys wt idl
0 0 0 504 4354 1099 971 15 113 19 0 580 3 3 0 93
1 0 0 2611 1472 3 2039 10 113 16 0 684 3 8 0 88

и так далее. То бишь, 90% idle time и iowait=0. Буду onstat пристально разглядывать. Кажется, ждёт меня где-то сюрприз в виде взаимной блокировки...
...
Рейтинг: 0 / 0
04.03.2005, 15:24
    #32946640
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
cprВсе вернулось в исходное состояние, при выключенной журнализации.
Вот ведь умный сервер :)
На самом деле, внутренняя транзакция все же была, она всегда есть независимо от режима логирования БД при некоторых операциях сервера, типа выделение экстента для табличного пространства, добавление чанка и т.п. Похоже, что и alter fragment тоже входит в эту группу, что естественно, не может не радовать.
...
Рейтинг: 0 / 0
05.03.2005, 09:19
    #32947690
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
vasilis cprВсе вернулось в исходное состояние, при выключенной журнализации.
Вот ведь умный сервер :)

:) Умный сервер просто очищает экстенты после того как перетащит. А вот умный волум менеджер аиксовый умеет перетаскивать волумы с одного диска на другой не блокируя чтение и запись.
...
Рейтинг: 0 / 0
05.03.2005, 09:24
    #32947697
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
По вопросу медленной записи: А где у вас физлог? На том же устройстве?
2cpr: У тебя файлы или рау?
...
Рейтинг: 0 / 0
05.03.2005, 22:37
    #32948987
cpr
cpr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
raw device естественно
...
Рейтинг: 0 / 0
09.03.2005, 10:32
    #32950627
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перенос таблицы в другой dbspace
cprraw device естественно
Ну для солярис с его ограничением 8 партиций на диск, даже не знаю естественно это или нет, поэтому и спросил.
...
Рейтинг: 0 / 0
Форумы / Informix [игнор отключен] [закрыт для гостей] / перенос таблицы в другой dbspace / 25 сообщений из 27, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]