ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / QlikView: Проблемы с UTF-8 при экспорте
23 сообщений из 23, страница 1 из 1
QlikView: Проблемы с UTF-8 при экспорте
    #39553579
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
Столкнулся с одной серьезной проблемой в QlikView.
Даже не знаю, с какой стороны к ней подойти.

Имеем QV Server 11.20.12018.0409.10
В КВ единичным SQL-запросом без преобразований зачитана таблица.
Она нормально выглядит на экране. Но........
При экспорте в Эксель/csv одно и то же значение поля в некот. строках выгладит не так, как в других.
Проблема в преобразованиях UTF-8. Одно и то же слово может быть перекодировано по разному.
см. картинку. Впереди "лишний" символ. Это кирилица без к-л посторонних символов.
Из-за этого происходят нарушения в сводных таблицах, т.к. "одно и тоже" значение раздваивается.

Проблема возникает спонтанно. И даже в строках с числами (н-р числовой номер документа).
Какие действия предпринять, чтобы избежать неодинаковых преобразований строк ?

зы: говорят, что очень редкая ошибка :)
...
Рейтинг: 0 / 0
15.11.2017, 14:52
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553622
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
LSV,

Попробуйте макросом с явным указанием, чтобы не думал, а выгружал как UTF8, типа ActiveDocument.GetSheetObject("Таблица_со_слетевшей_CodePage").Export "C:\catalog_for_csv_from_QV\pivot.csv", ",", 65001, false
...
Рейтинг: 0 / 0
15.11.2017, 15:22
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553626
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
Andy_OLAPLSV,
Попробуйте макросом с явным указанием, чтобы не думал, а выгружал как UTF8, типа ActiveDocument.GetSheetObject("Таблица_со_слетевшей_CodePage").Export "C:\catalog_for_csv_from_QV\pivot.csv", ",", 65001, falseИ что теперь к каждому гриду макрос цеплять ?
А можно указать не 65001 ?
Как указать win1251 ? У мну только кирилица/латиница.
...
Рейтинг: 0 / 0
15.11.2017, 15:25
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553631
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
LSV,

Ну попробуйте делать на стороне SQL явно convert(nvarchar(xxx),...).
И в региональных настройках у себя не-юникодный язык на какой-нибудь немецкий, рестарт, затем снова на кириллицу, затем снова на рестарт.
Windows - она такая...
...
Рейтинг: 0 / 0
15.11.2017, 15:33
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553635
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
Andy_OLAPLSV,

Ну попробуйте делать на стороне SQL явно convert(nvarchar(xxx),...).Дык проблема возникает у 1 строки из 1000.
Обычно на больших выборках.
...
Рейтинг: 0 / 0
15.11.2017, 15:36
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553687
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
LSVAndy_OLAPLSV,

Ну попробуйте делать на стороне SQL явно convert(nvarchar(xxx),...).Дык проблема возникает у 1 строки из 1000.
Обычно на больших выборках.
Нужно вырезать REPLACE([Column], char(9), ''), это табуляция внутри многострочных полей в справочнике при заполнении таблицы БД, которые поленились вырезать при сохранении в длинной строке...
...
Рейтинг: 0 / 0
15.11.2017, 16:30
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553706
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
Andy_OLAPLSVпропущено...
Дык проблема возникает у 1 строки из 1000.
Обычно на больших выборках.
Нужно вырезать REPLACE([Column], char(9), ''), это табуляция внутри многострочных полей в справочнике при заполнении таблицы БД, которые поленились вырезать при сохранении в длинной строке...В таблице однозначно нет никаких табуляций. Иначе они бы были во всех экспортированных строках.
Но беда только в 1 из 1000.
...
Рейтинг: 0 / 0
15.11.2017, 16:43
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553711
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
// Но беда только в 1 из 1000.

Если брать одинаковые значения поля. Т.е. среди 1000 одинаковых значений может быть 1, 2 с лишним символом впереди.
ппц кароч....
...
Рейтинг: 0 / 0
15.11.2017, 16:47
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553712
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
LSV,

Коллега, поставьте FAR Manager, откройте файл по F3, а затем переведите по F4 в режим HEX и посмотрите на код этого символа...
...
Рейтинг: 0 / 0
15.11.2017, 16:47
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553715
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
LSV,

Почему-то думаю, что Вы увидите Unicode U+0009 в начале строки.
...
Рейтинг: 0 / 0
15.11.2017, 16:49
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553746
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
Глянул ФАРом.
"Левый" символ такой (hex) :
EF BB BF
...
Рейтинг: 0 / 0
15.11.2017, 17:16
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553750
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
LSVГлянул ФАРом.
"Левый" символ такой (hex) :
EF BB BF
Вот тут советуют вырезать BOM отдельной утилитой .
...
Рейтинг: 0 / 0
15.11.2017, 17:24
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553753
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
LSVГлянул ФАРом.
"Левый" символ такой (hex) :
EF BB BF
Вообще проверяйте в исходном тексте в столбцах на MSSQL наличие таких дополнительных кодов как ASCII 192, любой из них внутри QV сконвертируется в BF, а далее станет BOM-ом.
...
Рейтинг: 0 / 0
15.11.2017, 17:27
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553770
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
Andy_OLAPLSVГлянул ФАРом.
"Левый" символ такой (hex) :
EF BB BF
Вот тут советуют вырезать BOM отдельной утилитой .Смешно, но у меня утилита ничего не исправила.
Я в шоке.
Три байта не могут удалить !!!
...
Рейтинг: 0 / 0
15.11.2017, 17:51
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553824
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
LSVAndy_OLAPпропущено...

Вот тут советуют вырезать BOM отдельной утилитой .Смешно, но у меня утилита ничего не исправила.
Я в шоке.
Три байта не могут удалить !!!
Попробуйте указывать для загружаемых данных явную Collation
Код: sql
1.
2.
3.
4.
LOAD *;
SQL select column1,
        column2  COLLATE Cyrillic_General_CI_AS
from DB.dbo.Table


Когда при загрузке портятся символы вне стандартной Collation - иной раз помогает переключение с Microsoft OLED DB Provider for SQL Server на Native Client

У Вас изначально прилетают в таблицу "кривые" символы, поэтому через визард их даже видно .

Можно макрос повесить на событие с явным указанием 65001 как UTF-8 .
...
Рейтинг: 0 / 0
15.11.2017, 18:40
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553844
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
Andy_OLAPУ Вас изначально прилетают в таблицу "кривые" символы, поэтому через визард их даже видно .Если грузить десктопом (он у меня 12.0), то все ОК.
А сервер 11.20
Изначально не могут быть кривыми.
Из 8 тыс. строк только по одному складу, ошибка в названии склада встречается 4 раза.

Занятно, что если фильтрануть клик по этому складу и повторить выгрузку, проблема НЕ ПОЯВЛЯЕТСЯ.

реальная жесть.....
...
Рейтинг: 0 / 0
15.11.2017, 19:14
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553848
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
Читать так:
Изначально данные не могут быть кривыми.
...
Рейтинг: 0 / 0
15.11.2017, 19:23
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39553849
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
LSVЕсли грузить десктопом (он у меня 12.0), то все ОК.
Из 8 тыс. строк только по одному складу, ошибка в названии склада встречается 4 раза.
Занятно, что если фильтрануть клик по этому складу и повторить выгрузку, проблема НЕ ПОЯВЛЯЕТСЯ.

Коллега, а может быть QV как Рафик - полностью не виновен? Я бы прогнал memtest ради интереса :)
...
Рейтинг: 0 / 0
15.11.2017, 19:23
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39554396
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
Пока выкрутился самодельной утилитой, кот. чистит сраный DOM.

Один из реальных вариантов - проапгрейдиться до 12.

Остальное пока не помогло.
...
Рейтинг: 0 / 0
16.11.2017, 15:08
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39554481
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
LSVПока выкрутился самодельной утилитой, кот. чистит сраный DOM.

Один из реальных вариантов - проапгрейдиться до 12.

Остальное пока не помогло.
Да, у народа на QV11 SR3 такая же ерунда с BOM.
И с сенсом тоже самое.
 

Это не баг, это фича. "Вырезать, вырезать и еще раз вырезать!" (с) В.И.Ленин, разработчик QlikView
...
Рейтинг: 0 / 0
16.11.2017, 16:30
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39555054
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
Важное замечание для тех, кто тоже будет чистить этот BOM:
Кликовский CSV файл начинается на BOM. И его удалять не надо . По нему Эксель понимает, что в файле UTF-8.
Удалять надо все остальные вхождения.
...
Рейтинг: 0 / 0
17.11.2017, 13:12
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39555965
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
George Nordic
Участник
LSVОдин из реальных вариантов - проапгрейдиться до 12.
Да, в 12ке переписали данный механизм.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
20.11.2017, 09:51
| Ответить | Цитировать | Написать  
QlikView: Проблемы с UTF-8 при экспорте
    #39556042
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LSV
Участник
George NordicLSVОдин из реальных вариантов - проапгрейдиться до 12.
Да, в 12ке переписали данный механизм.

С Уважением,
ГеоргийНу это утверждение еще предстоит проверить. :)
Проблема не в движке, а в процедуре экспорта.

Я вот к удивлению обнаружил, что небольшие выборки КВ создает как нативный XLS, а большие - как CSV.
В малых выборках сабжевой проблемы (БОМ) пока не встречал. Но опять таки это еще не факт, увы.
...
Рейтинг: 0 / 0
20.11.2017, 11:44
| Ответить | Цитировать | Написать  
23 сообщений из 23, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / QlikView: Проблемы с UTF-8 при экспорте
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=49&fpage=26&tid=1858038]:
 0ms
get settings:
 10ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 39ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 52ms
get tp. blocked users:
 1ms
others: 246ms
total:  378ms
созд. / загр.: 378ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]