Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Java [игнор отключен] [закрыт для гостей] / Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз. / 14 сообщений из 14, страница 1 из 1
21.04.2015, 18:22
    #38941887
chabapok
chabapok
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
public class UtfTest {
    
    public static void main(String[] args) throws UnsupportedEncodingException{
        byte []sample = "["\ud800"]".getBytes("UTF-8");
        System.out.println("len="+sample.length);
        System.out.println("[0]="+sample[0]);
    }  
}



выдает:
1.8.0_20-b26
len=1
[0]=63

Вопрос: правильно ли это? Я читаю статью utf-8 в википедии, там написано что диапазон 0x800-0xffff представляется тремя байтами
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.04.2015, 18:30
    #38941897
scf
scf
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
63 - это код символа "?".
Я думаю, что 0xd800 - это или неиспользуемый код, или он не поддерживается джавой.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.04.2015, 18:37
    #38941904
Blazkowicz
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
Посмотри таблицу символов. Скорее всего дело именно в самом символе. D800 - это суррогат а не конкретный символ. С символами работает нормально. Читай дальше про UTF
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.04.2015, 18:41
    #38941908
Blazkowicz
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
На сколько я понял, суррогат это такой префикс 2х-3х байтового символа, который сам по себе ничего не значит.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.04.2015, 18:42
    #38941916
Blazkowicz
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
chabapok,

Обрати внимание и на методы класса Character - там есть и проверка на суррогаты.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.04.2015, 18:50
    #38941925
mayton
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
Хм... String.getBytes() зело хитрый метод. Много depencencies.

Для символа который попал в диапазон

High Surrogate Area
Range: D800-DBFF
Isolated surrogate code points have no interpretation; consequently, no character code charts or names lists are provided for
this range.
See http://www.unicode.org/charts/ for access to a complete list of the latest character code charts

метод вернул вопросик '?'
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.04.2015, 18:51
    #38941928
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
Внутри UTF-8 и UTF-32 вообще не может быть суррогатов - суррогатные пары могут быть только в UTF-16.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.04.2015, 19:02
    #38941938
chabapok
chabapok
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
нашел статью http://en.wikibooks.org/wiki/Unicode/Character_reference/D000-DFFF и далее по ссылкам.
там можно братить внимание на "Unicode range D800–DFFF is used as surrogate pair in UTF-16 (used by Windows) and CESU-8 transformation formats, allowing these encodings to represent the supplementary plane code points, whose values are too large to fit in 16 bits..."

Character.isHighSurrogate возвращает true для диапазона d800 - dbff
C перекодировка dc00 тоже идет в однобайтовый 63

видимо там действительно диапазон служебный.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.04.2015, 19:05
    #38941944
chabapok
chabapok
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
Как все сложно. Есть не только верхние, но и нажние суррогаты.
Вобщем, вцелом ясно куда копать...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.04.2015, 19:05
    #38941945
scf
scf
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
Могу добавить, что джава как раз использует UTF-16. Так исторически сложилось, что тип char - 16-битный, поэтому, когда юникод вырос за пределы 65536 символов, начали использовать пары соседних char-ов для кодирования одного символа.

Именно поэтому, например, число, возвращаемое String.length(), не является длиной строки в *символах*
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.04.2015, 19:16
    #38941952
chabapok
chabapok
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
эээ...
а можно пример такого?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.04.2015, 19:25
    #38941968
chabapok
chabapok
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
Вопрос снимается. В описании Characher все написано.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.04.2015, 20:19
    #38941997
Blazkowicz
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
Basil A. SidorovВнутри UTF-8 и UTF-32 вообще не может быть суррогатов - суррогатные пары могут быть только в UTF-16.
Ну, значит с точки зрения UTF-8 это просто зарезервированные значения, которые в Unicode не имеют соответствующих символов.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.04.2015, 17:33
    #38942845
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
Коды из "суррогатного диапазона" - повреждённый UTF-8/-32.
Технически ничто не мешает вставлять их хоть по одному, хоть парой, но результат будет именно таким.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Java [игнор отключен] [закрыт для гостей] / Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз. / 14 сообщений из 14, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 506ms
Закрыть
start [/forum/topic.php?fid=59&mobile=1&tid=2125515]:
 0ms
get settings:
 10ms
get forum list:
 21ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 150ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 59ms
get tp. blocked users:
 1ms
others: 244ms
total:  506ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]