ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
14 сообщений из 14, страница 1 из 1
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941887
chabapok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chabapok
Участник
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
public class UtfTest {
    
    public static void main(String[] args) throws UnsupportedEncodingException{
        byte []sample = "["\ud800"]".getBytes("UTF-8");
        System.out.println("len="+sample.length);
        System.out.println("[0]="+sample[0]);
    }  
}



выдает:
1.8.0_20-b26
len=1
[0]=63

Вопрос: правильно ли это? Я читаю статью utf-8 в википедии, там написано что диапазон 0x800-0xffff представляется тремя байтами
...
Рейтинг: 0 / 0
21.04.2015, 18:22
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941897
scf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
scf
Участник
63 - это код символа "?".
Я думаю, что 0xd800 - это или неиспользуемый код, или он не поддерживается джавой.
...
Рейтинг: 0 / 0
21.04.2015, 18:30
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941904
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
Посмотри таблицу символов. Скорее всего дело именно в самом символе. D800 - это суррогат а не конкретный символ. С символами работает нормально. Читай дальше про UTF
...
Рейтинг: 0 / 0
21.04.2015, 18:37
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941908
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
На сколько я понял, суррогат это такой префикс 2х-3х байтового символа, который сам по себе ничего не значит.
...
Рейтинг: 0 / 0
21.04.2015, 18:41
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941916
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
chabapok,

Обрати внимание и на методы класса Character - там есть и проверка на суррогаты.
...
Рейтинг: 0 / 0
21.04.2015, 18:42
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941925
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Хм... String.getBytes() зело хитрый метод. Много depencencies.

Для символа который попал в диапазон

High Surrogate Area
Range: D800-DBFF
Isolated surrogate code points have no interpretation; consequently, no character code charts or names lists are provided for
this range.
See http://www.unicode.org/charts/ for access to a complete list of the latest character code charts

метод вернул вопросик '?'
...
Рейтинг: 0 / 0
21.04.2015, 18:50
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941928
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Внутри UTF-8 и UTF-32 вообще не может быть суррогатов - суррогатные пары могут быть только в UTF-16.
...
Рейтинг: 0 / 0
21.04.2015, 18:51
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941938
chabapok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chabapok
Участник
нашел статью http://en.wikibooks.org/wiki/Unicode/Character_reference/D000-DFFF и далее по ссылкам.
там можно братить внимание на "Unicode range D800–DFFF is used as surrogate pair in UTF-16 (used by Windows) and CESU-8 transformation formats, allowing these encodings to represent the supplementary plane code points, whose values are too large to fit in 16 bits..."

Character.isHighSurrogate возвращает true для диапазона d800 - dbff
C перекодировка dc00 тоже идет в однобайтовый 63

видимо там действительно диапазон служебный.
...
Рейтинг: 0 / 0
21.04.2015, 19:02
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941944
chabapok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chabapok
Участник
Как все сложно. Есть не только верхние, но и нажние суррогаты.
Вобщем, вцелом ясно куда копать...
...
Рейтинг: 0 / 0
21.04.2015, 19:05
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941945
scf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
scf
Участник
Могу добавить, что джава как раз использует UTF-16. Так исторически сложилось, что тип char - 16-битный, поэтому, когда юникод вырос за пределы 65536 символов, начали использовать пары соседних char-ов для кодирования одного символа.

Именно поэтому, например, число, возвращаемое String.length(), не является длиной строки в *символах*
...
Рейтинг: 0 / 0
21.04.2015, 19:05
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941952
chabapok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chabapok
Участник
эээ...
а можно пример такого?
...
Рейтинг: 0 / 0
21.04.2015, 19:16
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941968
chabapok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chabapok
Участник
Вопрос снимается. В описании Characher все написано.
...
Рейтинг: 0 / 0
21.04.2015, 19:25
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38941997
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
Basil A. SidorovВнутри UTF-8 и UTF-32 вообще не может быть суррогатов - суррогатные пары могут быть только в UTF-16.
Ну, значит с точки зрения UTF-8 это просто зарезервированные значения, которые в Unicode не имеют соответствующих символов.
...
Рейтинг: 0 / 0
21.04.2015, 20:19
| Ответить | Цитировать | Написать  
Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
    #38942845
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Коды из "суррогатного диапазона" - повреждённый UTF-8/-32.
Технически ничто не мешает вставлять их хоть по одному, хоть парой, но результат будет именно таким.
...
Рейтинг: 0 / 0
22.04.2015, 17:33
| Ответить | Цитировать | Написать  
14 сообщений из 14, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Правильно ли отрабатывает String.getBytes(). Преверьте меня, плыз.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=38941916&tid=2125515]:
 0ms
get settings:
 6ms
get forum list:
 9ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 146ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 49ms
get tp. blocked users:
 1ms
others: 210ms
total:  436ms
созд. / загр.: 436ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]