Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Informix [игнор отключен] [закрыт для гостей] / Головоломка для дибиэев / 25 сообщений из 46, страница 1 из 2
07.04.2010, 22:11
    #36567175
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
Так, чиста мозгами пошуршать :-)

Дано : производится конверсия базы из американской кодировки в unicode (utf8).
То есть данные выгружаются, база дропается, пересоздается с новой кодировкой, данные загружаются, индексы строятся.

Две проблемки:
- таблица x не влезает в старый dbspace;
- индекс y тоже "нэ лiзе".

Ваши версии ?


В таком вот аксепте
...
Рейтинг: 0 / 0
07.04.2010, 22:22
    #36567181
aist-psk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
количество битиков в символе американской и utf8 возможно разное.
...
Рейтинг: 0 / 0
07.04.2010, 22:37
    #36567193
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
aist-pskколичество битиков в символе американской и utf8 возможно разное.

Первое приходящее в голову, но неправильное решение :-).
Проблемы бы были и без перекодировки.
...
Рейтинг: 0 / 0
07.04.2010, 23:56
    #36567240
АнатоЛой
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
Наводящие вопросы - чисто мозгами пошуршать.... :)
1. выгружали то как? dbexport'ом? и загружаете им же? или HPL? или новомодными 11.50C6 c внешними таблицами ?:)
2.

Если конверсия только базы на тот же сервер, то вот ещё вариант:
"выгрузили dbexport'ом без ключа -ss"

В результате:
1.1. Потеряли фрагментацию таблицы x (особенно на 11.50 - фрагментация могла производиться в пределах одного пространства) - превысили ограничение в 32ГБ на один фрагмент таблицы
1.2. Потеряли фрагментацию индекса y - он теперь или ложится в dbspace к таблице, либо он был в этом же dbspace, но "отдельно от таблицы" - а теперь "вместе с таблицей" не помещается
...
Рейтинг: 0 / 0
08.04.2010, 00:03
    #36567244
АнатоЛой
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
Перед загрузкой провели настройку EXTENT SIZE и NEXT SIZE для таблиц, переборщили - и как результат, где-то перестарались и одна из таблиц зарезервировала много места - а таблице "y" не хватает, или же NEXT EXTENT у таблицы "y" большой - не может расшириться
...
Рейтинг: 0 / 0
08.04.2010, 00:06
    #36567249
АнатоЛой
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
АнатоЛой
1.2. Потеряли фрагментацию индекса y...

1.3. Потеряли фрагментацию индекса z - он теперь живёт "вместе с таблицей", индекс y уже не помещается
...
Рейтинг: 0 / 0
08.04.2010, 00:57
    #36567282
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
Выгружали unload-ом, индекс не фрагментированный, dbspace таблицы занят полностью и пришлось добавлять несколько раз, с индексом удалось разобраться без добавления диска :-)

еще идеи ? :-)
...
Рейтинг: 0 / 0
08.04.2010, 00:59
    #36567284
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
И таблица, и индекс живут каждый в своем выделенном dbspace, без "подселенцев".
...
Рейтинг: 0 / 0
08.04.2010, 01:18
    #36567289
zaiets
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
Выбегалло
- таблица x не влезает в старый dbspace;

1. Как описывали - бубны вокруг эктентов, это решаемо.
2. Alter in place. Тоже решаемо, но геморройно.

Выбегалло
- индекс y тоже "нэ лiзе".

1. тоже зависит от начальных размеров эктента таблицы
2. fillfactor

индексы насколько я понял открепленные - здесь не должно быть трабл.
Тихої української ночі більше з голови нічого нЕ лізе.
...
Рейтинг: 0 / 0
08.04.2010, 02:14
    #36567315
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
zaietsВыбегалло
- таблица x не влезает в старый dbspace;

1. Как описывали - бубны вокруг эктентов, это решаемо.
2. Alter in place. Тоже решаемо, но геморройно.

Выбегалло
- индекс y тоже "нэ лiзе".

1. тоже зависит от начальных размеров эктента таблицы
2. fillfactor

индексы насколько я понял открепленные - здесь не должно быть трабл.
Тихої української ночі більше з голови нічого нЕ лізе.

Бинго !
Таки да, alter table in place в первом случае, и fillfactor - во втором. При том, что fillfactor стоял один и тот же на исходном и полученном серверах, но "за время пути собака могла подрасти" - реальный fillfactor на оригинале, после лет работы, был выше указанного.
...
Рейтинг: 0 / 0
08.04.2010, 11:33
    #36567901
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
АнатоЛой...или же NEXT EXTENT у таблицы "y" большой - не может расшириться Если нет куска нужного размера, то выделяется доступный экстент ближайшего размера, и так до полного исчерпания пространства.
zaiets сегодня, 01:18 Ну фанаты, по киевскому времени это уже почти половина третьего ночи :)
Чего не спится то ? Или Выбегалло по телефону разбудил, у него то ведь день :)
zaietsТихої української ночі більше з голови нічого нЕ лізе. Ну, "прилізло" все таки нужное решение, т.ч. виртуальную бутылку американского пива ты заработал!
...
Рейтинг: 0 / 0
08.04.2010, 12:35
    #36568135
zaiets
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
vasilis Ну фанаты, по киевскому времени это уже почти половина третьего ночи :)
Чего не спится то ? Или Выбегалло по телефону разбудил, у него то ведь день :)


Да нет, не в ту сторону ты часовой пояс двигал.
Я вчера чет от футбола отходил долго.
...
Рейтинг: 0 / 0
08.04.2010, 13:37
    #36568350
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
zaietsvasilis Ну фанаты, по киевскому времени это уже почти половина третьего ночи :)
Чего не спится то ? Или Выбегалло по телефону разбудил, у него то ведь день :)

Да нет, не в ту сторону ты часовой пояс двигал.
Да, ступил, мы же "к Европе ближе, чем к Москве" :)
zaietsЯ вчера чет от футбола отходил долго.
За Манчестер сильно переживал ? :)
...
Рейтинг: 0 / 0
09.04.2010, 11:36
    #36570216
GVF112GVF
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
Выбегалло,

Как на счет компрессии .... помогает при использовании UTF.

С уважением,
Вадим Головский.
...
Рейтинг: 0 / 0
09.04.2010, 12:19
    #36570343
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
GVF112GVFВыбегалло,

Как на счет компрессии .... помогает при использовании UTF.

С уважением,
Вадим Головский.

ну если кодировка изначально американская, то есть подавляющее большинство символов из первой половины ASCII - то какая компрессия ? Если где и промелькнет европейская буква в имени, которая в utf8 превратится в 2 байта, то ну очень редко.
...
Рейтинг: 0 / 0
09.04.2010, 14:25
    #36570769
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
оффтопик: а софт на чем на джаве (jdbc)?
...
Рейтинг: 0 / 0
10.04.2010, 01:58
    #36572010
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
Журавлев Денисоффтопик: а софт на чем на джаве (jdbc)?

Какой софт ? Всю конверсию делали dbaccess.
Или вопрос про фронтенд к базе и ETL примочки? Там зоопарк - Powerbuilder, java, perl, shell, по-моему даже куски PHP где-то имеются.
...
Рейтинг: 0 / 0
10.04.2010, 11:21
    #36572113
GVF112GVF
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
Выбегалло,

Что показывает oncheck -pe, oncheck -pt ?

С уважением,
Вадим
...
Рейтинг: 0 / 0
10.04.2010, 13:49
    #36572219
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
Выбегалло
Или вопрос про фронтенд к базе и ETL примочки? Там зоопарк - Powerbuilder, java, perl, shell, по-моему даже куски PHP где-то имеются.
да про фронтенд. Мне поддержка юникода интересна. Powerbuilder он через одбс работает, там понятно и java тоже. А perl и php там юникод поддерживается, в смысле client_locale=xxx.utf ?
...
Рейтинг: 0 / 0
10.04.2010, 21:19
    #36572478
GVF112GVF
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
GVF112GVFВыбегалло,

Что показывает oncheck -pe, oncheck -pt ?

С уважением,
Вадим

Какой размер страницы, использовался в базе ?
Как увеличился размер записи в кодировке UNICODE ?

С уважением,
Вадим.
...
Рейтинг: 0 / 0
11.04.2010, 18:16
    #36572898
GVF112GVF
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
Выбегалло,

Интегрированные системы IBM для крупномасштабного анализа данных на мэйнфреймах System z и компьютерах на базе x86 призваны составить конкуренцию платформе Oracle Exadata. Системы pureScale Application System и Smart Analytics, как утверждают в IBM, способны справиться с огромными объемами данных, сокращая при этом за счет глубокого сжатия данных необходимый объем устройств хранения до 80%.

http://www.osp.ru/news/2010/0409/13001363/

С уважением,
Вадим Головский
...
Рейтинг: 0 / 0
11.04.2010, 22:12
    #36573048
zaiets
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
Вадим, я слеп или где упоминание об informix в указанной ссылке?
Для подобных сообщений вроде место в разделе DB2 или сравнение СУБД.
А здесь мы все же обсуждаем Informix а не DB2.
Я понимаю когда ты мысли о DB2 говорил будучи сотрудником IBM, но сейчас то зачем?
Или снова в IBM?
...
Рейтинг: 0 / 0
11.04.2010, 23:56
    #36573139
GVF112GVF
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
zaiets,

Все очень просто, нужно только догадаться.
IBM уделяет большое внимание компрессии данных (как в DB2, так и в Informix),
особенно, при использовании в базах данных кодировки UNICODE.

Вообще то, при переходе на UNICODE, следует учитывать увеличение размера записи для таблицы.
Как следствие,
возможно, что потребуется увеличить размер страницы (чтобы поместить на странице такое же число записей).
Чтобы уменьшить размеры таблицы - включить компрессию на уровне таблицы и т.д.

Дело не только в DB2 .... :)

С уважением,
Вадим Головский.
...
Рейтинг: 0 / 0
12.04.2010, 20:30
    #36575048
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
Журавлев ДенисВыбегалло
Или вопрос про фронтенд к базе и ETL примочки? Там зоопарк - Powerbuilder, java, perl, shell, по-моему даже куски PHP где-то имеются.
да про фронтенд. Мне поддержка юникода интересна. Powerbuilder он через одбс работает, там понятно и java тоже. А perl и php там юникод поддерживается, в смысле client_locale=xxx.utf ?

Powerbuilder, кстати, наша старая версия юникод не поддерживает. Будут мигрировать.
PHP, как интернетный язык, поддерживать обязан, но это не мой кусок, так что зуб не дам. С перлом сейчас разбираюсь.
...
Рейтинг: 0 / 0
12.04.2010, 20:54
    #36575085
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Головоломка для дибиэев
GVF112GVFGVF112GVFВыбегалло,

Что показывает oncheck -pe, oncheck -pt ?

С уважением,
Вадим

Какой размер страницы, использовался в базе ?
Как увеличился размер записи в кодировке UNICODE ?



никак. Цитирую : "ну если кодировка изначально американская, то есть подавляющее большинство символов из первой половины ASCII..."

Oncheck -pe показывал то, что и должен был показывать - в оригинальной таблице типа 1000 страниц данных, в смигрированной - 2000.
...
Рейтинг: 0 / 0
Форумы / Informix [игнор отключен] [закрыт для гостей] / Головоломка для дибиэев / 25 сообщений из 46, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]