powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Informix [игнор отключен] [закрыт для гостей] / перенос таблицы в другой dbspace
25 сообщений из 27, страница 1 из 2
перенос таблицы в другой dbspace
    #32937319
cpr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cpr
Гость
Таблица большая 24 миллиона записей
традиционно я переносил до сих пор dbload'ом
но тут чувствую времени не хватит.
Присоветуйте не пользовался ли кто для этих целей альтер фрагментом?
Очень уж на нее ссылок много.
Хочется чтоб без удаления таблицы. (типа мечта идиота)
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32937354
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
альтер-фрагмент как раз по этим делам.
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32937364
cpr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cpr
Гость
а как насчет размера таблицы?
onload не быстрее будет?
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32937375
cpr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cpr
Гость
вопросы более конкретные

1 после выполнения альтер фрагмент с таким условием, что все записи окажутся в новом дбспэйсе, в старом чанки освободятся ? (сомневаюсь)

2 где останутся индексы?
дело в том, что мне надо полностью освободить старое пространство. если индексы останутся в старом, то ничего не приходит в голову кроме их пересоздания.
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32937511
cpr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cpr
Гость
ага
оказывается есть специальная олция
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32938252
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Напиши потом, пожалуйста, сколько будет длиться перенос 24млн. строк (и сколько это в Мб) с одного пространства в другое и какая физическая скорость копирования с винта - интересует, насколько скорость переноса будет близка к физической скорости копирования.
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32938938
cpr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cpr
Гость
во вчерашнем ночном эксперименте переносилась таблица 5 с лишним миллионов записей. onstat -d показал примерно 2 с половиной гига занятого пространства. Все пространства и темп и логдбспэйс и рабочие находились на одном винте. винт FC машина SUN Blade 1000 2CPU ULTRASPARC 3 750 Мгц
перенос происходил 31 минуту.
Журнализация естественно была выключена.
про результаты на рабочей системе позже
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32939799
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я думаю, что не лишне было бы указать row size.
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32940004
cpr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cpr
Гость
{ TABLE "informix".logreesdoc row size = 400 number of columns = 39 index size =
186 }
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32940145
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Использовали alter fregment несколько раз для переноса таблиц между дбспэйсами (журналирование базы не выключали поскольку в это время там работали другие пользователи). При выполнении alter frament на больших таблицах нужно обязательно учитывать что может возникнуть длинная транзакция, поэтому перед этим желательно сделать бэкап.
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32940940
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
cprво вчерашнем ночном эксперименте переносилась таблица 5 с лишним миллионов записей. onstat -d показал примерно 2 с половиной гига занятого пространства. Все пространства и темп и логдбспэйс и рабочие находились на одном винте. винт FC машина SUN Blade 1000 2CPU ULTRASPARC 3 750 Мгц
перенос происходил 31 минуту.

Скорость, примерно, 1,5М/сек и хотя я не знаю о скорости винтов, но , мне кажется, медленновато (даже с учетом, что все было на одном винте и среднюю скорость можно удвоить). К тому же, логирование было выключено
cpr
Журнализация естественно была выключена.

Кстати, а если сервер упадет в процессе переноса? Скорее всего, чанки будут в дауне ?
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32940960
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня тут мелькнула идея, но она хорошо реализуема только в том случае, если эта большая таблица занимает отдельное ДБ-пространство.
Тогда я бы предложил создать зеркало, спокойно подождать даже не прерывая работы, пока оно синхронизируется с первичным пространством, а затем выключить первичное пространство, разорвав зеркало. Т.е. типичная операция по горячей замене диска.
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32942315
cpr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cpr
Гость
во время выполнения альтер фрагмент, чтения из пространства источника выполняется примерно со скоростью, доходящей до 30 метров в секунду.
При этом некоторая часть данных резервируется в исходном дбспэйсе. Запись идет со скоростью около 4 мегабайт в секунду. К тому же судя по характеру обмена данными при завершении переноса перестраиваются индексы, а это само по себе не быстро.
С зеркалом номер не пройдет, возможности нет тк зеркало уже на уровне соляриса раз, а два перенос будет происходить на винт с другой структурой дбпространств, номысль интересная.
Кстати вот запись идет не быстрее 4-х метров в секунду и все. Наш рут только руками разводит. Но правда запись идет через механизмы очистки буферов LRU, так что она в принципе должна быть медленнее чем физические возможности винта. Но вот чтоб настолько...
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32942916
Ilya Kulagin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
cprво время выполнения альтер фрагмент, чтения из пространства источника выполняется примерно со скоростью, доходящей до 30 метров в секунду.
Кстати вот запись идет не быстрее 4-х метров в секунду и все. Наш рут только руками разводит. Но правда запись идет через механизмы очистки буферов LRU, так что она в принципе должна быть медленнее чем физические возможности винта. Но вот чтоб настолько...

Совершенно аналогичная картина. Физическая скорость (по dd) - 20 метров в секунду, логическая при чтении onunload - 8 метров в секунду, логическая при записи onload - 2 метра в секунду.

Это я вчера четырёхснебольшимгиговую таблицу на другой сервер оттаскивал, после замены на ём всего на свете, включая диски. Заодно поразглядывал iostat.

Да. Чуть не забыл. Логическое чтение ontape - 12 метров в секунду.
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32943246
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ilya Kulagin cprво время выполнения альтер фрагмент, чтения из пространства источника выполняется примерно со скоростью, доходящей до 30 метров в секунду.
Кстати вот запись идет не быстрее 4-х метров в секунду и все. Наш рут только руками разводит. Но правда запись идет через механизмы очистки буферов LRU, так что она в принципе должна быть медленнее чем физические возможности винта. Но вот чтоб настолько...
Совершенно аналогичная картина. Физическая скорость (по dd) - 20 метров в секунду, логическая при чтении onunload - 8 метров в секунду, логическая при записи onload - 2 метра в секунду.
Да. Чуть не забыл. Логическое чтение ontape - 12 метров в секунду.
Вот и меня смущает сильно большая разница при чтении и записи...
А достаточно было очистителей (cleaners) и KAIO на эти операции?

Странно, почему onunload и ontape так отличаются скоростью чтения - обе утилиты читают двоичными страницами без всяких преобразований. Может потому, что 1-я написана индусами ? ;))
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32944077
В.К.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vasilisСтранно, почему onunload и ontape так отличаются скоростью чтения - обе утилиты читают двоичными страницами без всяких преобразований. Может потому, что 1-я написана индусами ? ;))

Думаю, что у onunload все таки работы побольше будет - искать очередной экстент таблицы, принадлежащей базе, и т.п. А ontape тупо сканирует страницы чанков, просматривая только их заголовок. И либо пишет, либо нет. Да и разница-то всего в 1,5 раза :)

Вот один индус есть, очень хороший: http://www.kernelthread.com/

Так вот (он, сечас, вроде в IBM работает), судя по тому, что он пишет и сделал, он один "уделал" бы всех нынешних разработчиков Informix 10.0 вместе взятых...
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32944214
cpr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cpr
Гость
Кстати при переносе alter fragment'ом пару раз прерывал выполнение запроса и все оставалось как было без проблем. А вот сервак валить мне не дали ;-)
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32944671
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
cprКстати при переносе alter fragment'ом пару раз прерывал выполнение запроса и все оставалось как было без проблем.
Тут непонятно - "все оставалось как было без проблем", т.е. все вернулось в исходное состояние (и это без поддержки транзакций) ? Или было промежуточное состояние, когда часть таблицы была в одном пространстве, а часть в другом, после которого повторное выполнение alter fragment просто продолжало работу ?
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32944714
cpr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cpr
Гость
Все вернулось в исходное состояние, при выключенной журнализации.
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32944840
Ilya Kulagin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vasilis

Странно, почему onunload и ontape так отличаются скоростью чтения

Ну не так уж и сильно они отличаются. Особенно, если учесть, что ontape я глядел на новом сервере, "пустом", а onunload, - на старом, который в это время обслуживал народ.

А вот чем onload занимается, мне даже интересно стало. Сегодня очередную таблицу потащил, mpstat показывает дословно:

CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys wt idl
0 0 0 424 1836 434 2015 0 297 36 0 2905 5 5 0 90
1 2 0 300 1140 4 2168 0 295 35 0 3184 4 6 0 90
CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys wt idl
0 0 0 224 1778 411 1609 5 284 47 0 2378 6 5 0 89
1 0 0 450 973 4 2303 16 287 46 0 2998 4 5 0 90
CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys wt idl
0 0 0 254 2543 714 1097 18 207 34 0 1178 6 3 0 91
1 0 0 1173 1058 6 2005 6 205 30 0 1389 4 6 0 89
CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys wt idl
0 0 0 504 4354 1099 971 15 113 19 0 580 3 3 0 93
1 0 0 2611 1472 3 2039 10 113 16 0 684 3 8 0 88

и так далее. То бишь, 90% idle time и iowait=0. Буду onstat пристально разглядывать. Кажется, ждёт меня где-то сюрприз в виде взаимной блокировки...
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32946640
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
cprВсе вернулось в исходное состояние, при выключенной журнализации.
Вот ведь умный сервер :)
На самом деле, внутренняя транзакция все же была, она всегда есть независимо от режима логирования БД при некоторых операциях сервера, типа выделение экстента для табличного пространства, добавление чанка и т.п. Похоже, что и alter fragment тоже входит в эту группу, что естественно, не может не радовать.
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32947690
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vasilis cprВсе вернулось в исходное состояние, при выключенной журнализации.
Вот ведь умный сервер :)

:) Умный сервер просто очищает экстенты после того как перетащит. А вот умный волум менеджер аиксовый умеет перетаскивать волумы с одного диска на другой не блокируя чтение и запись.
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32947697
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По вопросу медленной записи: А где у вас физлог? На том же устройстве?
2cpr: У тебя файлы или рау?
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32948987
cpr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cpr
Гость
raw device естественно
...
Рейтинг: 0 / 0
перенос таблицы в другой dbspace
    #32950627
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
cprraw device естественно
Ну для солярис с его ограничением 8 партиций на диск, даже не знаю естественно это или нет, поэтому и спросил.
...
Рейтинг: 0 / 0
25 сообщений из 27, страница 1 из 2
Форумы / Informix [игнор отключен] [закрыт для гостей] / перенос таблицы в другой dbspace
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]