Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Проблема с кодировкой в hp vertica / 7 сообщений из 7, страница 1 из 1
27.05.2015, 09:10
    #38969404
ASukhov1986
ASukhov1986
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема с кодировкой в hp vertica
Установил последнюю бесплатную версию hp vertica server. Настрой сервер и создал БД IM_0609. Далее создал таблицу с помощью команды:
Код: sql
1.
CREATE TABLE MARKS (SERIAL_NUM	varchar(30),PERIOD smallint,MARK_NUM decimal(20,0), END_MARK_NUM decimal(20,0),OLD_MARK_NUM decimal(20,0),DEVICE_NAME varchar(256),DEVICE_MARK varchar(256),CALIBRATION_DATE date);


Далее из БД СУБД DB2 выполнил EXPORT данных txt файл:
Код: html
1.
2.
3.
4.
5.
5465465|12|+5211.|+5211.||Комплексы компьютеризированные самостоятельного предрейсового экспресс-обследования функционального состояния машиниста, водителя и оператора|ЭкОЗ-01|2004-12-09
5465465|12|+5211.|+5211.||Спектрометры эмиссионные|Metal Lab|2004-12-09
б/н|12|+5207.|+5207.|+5205.|Спектрометры эмиссионные|Metal Lab|2004-12-09
б/н|12|+5207.|+5207.|+5205.|Спектрометры эмиссионные|Metal Test|2004-12-09
....


Далее выполняю импорт данных из этого текстового файла в таблицу БД hp vertica c помощью вот этой команды:
Код: plsql
1.
copy MARKS from '/home/dbadmin/result.txt' delimiter '|' null as '' exceptions '/home/dbadmin/copy-error.log' ABORT ON ERROR;


Все данные загрузились, но русские символы отображаются какими-то "краказябрами", видимо это связано с проблемами кодировки символов при выполнении команды COPY.
Вопрос: как можно эту проблему устранить?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.05.2015, 09:14
    #38969410
ASukhov1986
ASukhov1986
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема с кодировкой в hp vertica
ASukhov1986, hp vertica server установлен на ОС Linux CentOS release 6.6 (Final)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.05.2015, 10:15
    #38969472
ASukhov1986
ASukhov1986
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема с кодировкой в hp vertica
ASukhov1986,
с помощью вот этой команды ОС Linux:
Код: powershell
1.
file result.txt


я определил кодировку файла:
Код: html
1.
result.txt: ISO-8859 text, with very long lines, with CRLF line terminators


Как я понял это кодировка ISO-8859 и в соответствии с документацией, а точнее:
Код: html
1.
Character sets like ISO 8859-1 (Latin1) are incompatible with UTF-8 and are not supported.


Т.е. мне нужно из кодировки файла ISO 8859 перейди к кодировки UTF-8.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.05.2015, 10:48
    #38969497
ASukhov1986
ASukhov1986
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема с кодировкой в hp vertica
ASukhov1986,

С помощью следующей команды ОС:
Код: powershell
1.
iconv -f ISO88599 -t utf-8 result.txt > result-utf8.txt


я задал кодировку у файла result-utf8.txt. Потом result.txt удалил, а result-utf8.txt переименовал в result.txt. Далее я загрузил данный (COPY) в БД и проверил значение кодировки например у столбца DEVICE_NAME:
Код: plsql
1.
SELECT * FROM MARKS WHERE ISUTF8(DEVICE_NAME) = TRUE;


результат запроса равен кол-во строк таблицы.
Однако 'кракозябры' остались, например:
Код: html
1.
2.
3.
5465465	12	5211	5211	(null)	Êîìïëåêñû êîìïüşòåğèçèğîâàííûå ñàìîñòîÿòåëüíîãî ïğåäğåéñîâîãî ıêñïğåññ-îáñëåäîâàíèÿ ôóíêöèîíàëüíîãî ñîñòîÿíèÿ ìàøèíèñòà, âîäèòåëÿ è îï	İêÎÇ-01	2004-12-09
5465465	12	5211	5211	(null)	Ñïåêòğîìåòğû ıìèññèîííûå	Metal Lab	2004-12-09
...


, но они уже отличаются от первоначальных 'кракозябр'.
Как мне избавиться от них?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.05.2015, 10:49
    #38969500
ASukhov1986
ASukhov1986
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема с кодировкой в hp vertica
ASukhov1986,
5465465 12 5211 5211 (null) Êîìïëåêñû êîìïüşòåğèçèğîâàííûå ñàìîñòîÿòåëüíîãî ïğåäğåéñîâîãî ıêñïğåññ-îáñëåäîâàíèÿ ôóíêöèîíàëüíîãî ñîñòîÿíèÿ ìàøèíèñòà, âîäèòåëÿ è îï İêÎÇ-01 2004-12-09
5465465 12 5211 5211 (null) Ñïåêòğîìåòğû ıìèññèîííûå Metal Lab 2004-12-09
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.05.2015, 15:25
    #38969876
ASukhov1986
ASukhov1986
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема с кодировкой в hp vertica
ASukhov1986,
ошибка не связана с СУБД HP Vertica, а связана с командой экспорт СУБД DB2. Т.к. я удалил содержимое моего файла и добавил туда следующие строчки:
Код: html
1.
2.
3.
б/н|12|+6000001.|+6000001.||Амперметр АМ101|AM999|2014-12-09
999999|12|+6000002.|+6000002.||Вольтметр ВМ1|Metal Lab|2014-12-09
б/н|12|+6000003.|+6000003.||Вольтметр ВМ1|Metal Lab|2014-12-09


И все нормально импортировалось и русские символы нормально отображаются.
P.S. буду смотреть команду EXPORT DB2
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.05.2015, 10:37
    #38970432
ASukhov1986
ASukhov1986
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема с кодировкой в hp vertica
ASukhov1986, ошибка не связана с DB2, а связана с тем, что после экспорта в файл result.txt я неправильно определил его кодировку: вместо WINDOW-1251, я указал ISO... и поэтому неправильно перевел в UTF-8.
Ошибка разрешена!!!
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Проблема с кодировкой в hp vertica / 7 сообщений из 7, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 259ms
Закрыть
start [/forum/topic.php?fid=48&mobile=1&tid=1856821]:
 0ms
get settings:
 9ms
get forum list:
 12ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 163ms
get topic data:
 13ms
get forum data:
 2ms
get page messages:
 40ms
get tp. blocked users:
 2ms
others: 10ms
total:  259ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]