Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8 / 20 сообщений из 20, страница 1 из 1
10.12.2014, 20:38
    #38830688
Таблоид
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
hi all

А попробуйте кто-нить (особливо те, кто в Чехии обитает :)) ввести в поле с charset = utf8 чешскую букофку "R с крышкой" (произносится вроде как "рш" или "рж").

Вот вам алфавит:
https://ru.wikipedia.org/wiki/Чешский_алфавит

А в аттаче - то, как она выглядит (я даже тынц не могу привести, знак вопроса прёт вместо неё :)).

У мну при попытке ввода лезет malformed string. При том, что чарсет базы, консоли и коннекта, ес-сно, UTF8:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
 $ locale 
LANG=en_US.UTF-8
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=

$ /opt/fb25sc/bin/isql localhost/3252:/var/db/fb25/utf8fb25.fdb  -ch utf8 
SQL> set list on; select a.mon$character_set_id,r.rdb$character_set_name from mon$attachments a join rdb$character_sets r on  a.mon$character_set_id = r.rdb$character_set_id ;

MON$CHARACTER_SET_ID            4
 RDB$CHARACTER_SET_NAME          UTF8    

SQL> show database;
Database: localhost/3252:/var/db/fb25/utf8fb25.fdb
        Owner: SYSDBA
PAGE_SIZE 16384
Number of DB pages allocated = 808
Sweep interval = 20000
Forced Writes are ON
Transaction - oldest = 64
Transaction - oldest active = 65
Transaction - oldest snapshot = 65
Transaction - Next = 69
ODS = 11.2
 Default Character set: UTF8 
SQL> show table book; -- это я сюда затолкать хочу много всякого UTF8-текста.
TEXT                            VARCHAR(80) Nullable
LANG                            VARCHAR(3) Nullable


ЧЯДНТ ?

PS.
Код: plaintext
1.
2.
3.
4.
5.
6.
ISQL Version: LI-V2.5.4.26821 Firebird 2.5
Server version:
Firebird/linux AMD64 (access method), version "LI-V2.5.4.26821 Firebird 2.5"
Firebird/linux AMD64 (remote server), version "LI-V2.5.4.26821 Firebird 2.5/tcp (oel64)/P12"
Firebird/linux AMD64 (remote interface), version "LI-V2.5.4.26821 Firebird 2.5/tcp (oel64)/P12"
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2014, 21:01
    #38830704
NickDee
NickDee
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
В IBExpert всё ок.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2014, 21:03
    #38830709
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
Скорее всего это заморочки линукса и консоли. Виндовая консоль вообще при попытке ввода в utf-8 молча убивает isql. Из скрипта вставить мне удалось нормально, а при попытке вывода - отображает мусор.

Возможно при правке CORE-4259 несколько перестарались (или недостарались).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2014, 21:16
    #38830721
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
А-а-а... В текущем isql 3.0 оно тоже не работает. Неужели обратно сломали?

Код: plaintext
1.
2.
3.
4.
select cast(text as varchar(80) character set octets) from book;

CAST
===============================================================================
C598C599
Коды вставились правильные, а отображение идёт в win1251.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2014, 21:20
    #38830726
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
Как подтверждение, что в базе данные правильные, кусок лога:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
INSERT record 1 of table BOOK
New data:
	TEXT has type 3 and length 322
		charset = 4, value = 'Řř'
	LANG has type 3 and length 5
		charset = 0, value = 'CZE'
>>>>>>> Release savepoint 2 >>>>>>>
Если кто-то видит знаки вопроса, это проблема Джуда, а не моя.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2014, 21:22
    #38830728
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
У Джуда проблем нет
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2014, 21:25
    #38830731
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
И, кстати, умляут это двойная точка над над Ё, а не то что ты говоришь. Это
называется "гачек", что значит "крючок, закорючка".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2014, 22:59
    #38830764
Таблоид
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
Разобрался я с этими "гачеками".
Проблема была в том, что данные в insert-команды втыкались из большого UTF8-файла, который я обрабатывал java-классом. В нём юзаю BufferedReader / BufferedWriter, которые неверно создавал.
На всякий случай, продублирую сюда правильный вариант создания:
Код: sql
1.
2.
BufferedReader fr = new BufferedReader(new InputStreamReader(new FileInputStream(inpFile), "utf8"));
BufferedWriter fw = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(outFile), "utf8"));



Сейчас всё пишется и читается ОК.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.12.2014, 23:38
    #38830773
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
Таблоид"гачеками"
"гачками". "Е" тут беглая, как и в русском.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 00:16
    #38830791
NickDee
NickDee
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
ТаблоидСейчас всё пишется и читается ОК.
Но ISQL всё-таки вылетает.
D:\Firebird\3.0.0.31455>cmd
Microsoft Windows [Version 6.1.7601]
Copyright (c) 2009 Microsoft Corporation. All rights reserved.

D:\Firebird\3.0.0.31455>chcp 65001
Active code page: 65001

D:\Firebird\3.0.0.31455>isql
Use CONNECT or CREATE DATABASE to specify a database
SQL> Ř

D:\Firebird\3.0.0.31455>
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 00:17
    #38830793
NickDee
NickDee
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
Кстати в предварительном просмотре сообщения стоят вопросики вместо юникода.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 01:47
    #38830820
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
NickDeeНо ISQL всё-таки вылетает.
Не только isql. Практически любая программа.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 10:22
    #38830997
Таблоид
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
Dimitry SibiryakovКак подтверждение, что в базе данные правильные, кусок лога:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
INSERT record 1 of table BOOK
 New data:
	TEXT has type 3 and length 322
		charset = 4, value = 'Řř'
	LANG has type 3 and length 5
		charset = 0, value = 'CZE'
>>>>>>> Release savepoint 2 >>>>>>>
0xFF. А что это за лог такой, какой командой его посмотреть ? Это силами ISQL'я делается или вспомогат. утилитой или чем ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 12:06
    #38831167
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
Таблоид0xFF. А что это за лог такой, какой командой его посмотреть ?
Это лог, который пишет тестовый репликационный плагин. Случайно оказался довольно удобной
штукой и для отладки. Но посмотреть его пока нельзя нигде.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 12:08
    #38831171
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
Dimitry Sibiryakov,

это который плагином к трёшке подключается?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 12:34
    #38831230
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
Симонов Денисэто который плагином к трёшке подключается?
Да.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.12.2014, 14:21
    #38836022
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
Таблоид, откомпиляй приложенную программу и скажи если она выводит буквы "Řř" правильно во всех трёх строчках. А также число пробелов перед ними в последней.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.12.2014, 15:19
    #38836089
Таблоид
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
Dimitry SibiryakovТаблоид, откомпиляй приложенную программу и скажи если она выводит буквы "Řř" правильно во всех трёх строчках. А также число пробелов перед ними в последней.Выводит правильно во всех трёх строчках. Число пробелов = 2 - см аттач.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.12.2014, 15:52
    #38836127
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
ТаблоидЧисло пробелов = 2
То есть с форматированием у GLIBC такой же баг как и у MSVC. Ok...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.12.2014, 17:52
    #38836247
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8
Какой-то чудак воскресил CORE-4259. Я переоткрыл тикет.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / LI-V2.5.4.26821: проблема ввода некоторых буковомляутов из UTF8 / 20 сообщений из 20, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 479ms
Закрыть
start [/forum/topic.php?fid=40&tablet=1&tid=1563134]:
 0ms
get settings:
 12ms
get forum list:
 18ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 31ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 81ms
get tp. blocked users:
 2ms
others: 317ms
total:  479ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]