ReSQL.ru
     
powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Преобразовать XML utf-8 в utf-16 вместе с заголовком
25 сообщений из 64, страница 2 из 3
  2  все
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967260
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
mad_nazgul

Договариваться можно о чем угодно.
Этот договор ничего не стоит, потому что бизнес придет через неделю после того, как договорились и скажет, что им срочно надо постоянно менять JSON.

Я не понимаю к чему ты клонишь. Требования могут меняться. Это правда.

Но из этого не следует что любой входящий документ в систему нужно тут-те нормализовывать
и раскладывать по табличкам.
...
Рейтинг: 0 / 0
09.06.2020, 08:52
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967322
selis76
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
selis76
Участник
mad_nazgul, у вас там какая то своя боль по поводу хранения в форматах XML Json и вы куда то повели далеко от темы
Как я ранее написал " Я их сохраняю в свой буфер, буфер на MSSQL" это именно буфер. Шина не может долго хранить очередь, а вот исходники сообщений нужно гдето хранить для последущей загрузки в структуры реляционной базы данных. В XML колонках это удобно, допустим загрузили из буфера данные в таблицы СУБД, а по истечении времени понадобилось вытащить из сообщений еще один реквизит - просто сканируем буфер еще раз и добавляем его + в регулярный код. При наличии буфера всегда можно предъявить исходник сообщения, по которому создали документ или операцию в таблицах СУБД. Плюсов много не буду все перечислять,.Естественно использовать XML колонки для аналитических отчетов это противопоказано - просто технологически нет достаточных средств для этого.
...
Рейтинг: 0 / 0
09.06.2020, 11:39
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967332
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
selis76,

Так зачем для этого mssql? Выкинь её, раз с ней проблемы.
...
Рейтинг: 0 / 0
09.06.2020, 12:02
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967335
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mad_nazgul
Участник
crutchmaster
mad_nazgul
А так. Взяли худшее из двух "миров" и огребли проблемы по полной.

Ну так понятно, что надо было сразу брать монгу и всё бы работало нормально.


Почему бы и нет.
Mongo + Elastic Serach.

Если таки нужна БД, то либо из Mongo, либо паралельно с ней сохраняем в СУРБД.
...
Рейтинг: 0 / 0
09.06.2020, 12:06
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967339
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mad_nazgul
Участник
mayton
mad_nazgul

Договариваться можно о чем угодно.
Этот договор ничего не стоит, потому что бизнес придет через неделю после того, как договорились и скажет, что им срочно надо постоянно менять JSON.

Я не понимаю к чему ты клонишь. Требования могут меняться. Это правда.

Но из этого не следует что любой входящий документ в систему нужно тут-те нормализовывать
и раскладывать по табличкам.


Я с этим не спорю.
Просто не надо использовать СУРБД для хранения ненормализованных данных.
Там для этого слишком много накладных расходов, связанных с ACID.
...
Рейтинг: 0 / 0
09.06.2020, 12:08
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967343
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mad_nazgul
Участник
selis76
mad_nazgul, у вас там какая то своя боль по поводу хранения в форматах XML Json и вы куда то повели далеко от темы
Как я ранее написал " Я их сохраняю в свой буфер, буфер на MSSQL" это именно буфер.


Если это кэш, то MS SQL для этого самое не подходящее решение.
Есть другие решения, которые справляются гораздо лучше и с меньшими накладными расходами.
Та же mongo. Если данных не слишком много, то можно In Memory DB.

Ну или вообще заменить вашу MQ на kafka, которая по умолчанию хранить сообщение 7 суток, этот параметр можно изменять.

Вы выбрали, самое не удачное решение, теперь боретесь с его последствиями. ;-)
...
Рейтинг: 0 / 0
09.06.2020, 12:12
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967347
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
selis76,
Вы упрямы. Взяли бы еще оракл).
Вам говорят, что получилась каша.
В том числе из терминов.
Кеш?
Буфер?
Архив?
Логирование?
OLAP / OLTP?
...
Рейтинг: 0 / 0
09.06.2020, 12:17
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967348
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
selis76,

автора по истечении времени понадобилось вытащить из сообщений еще один реквизит - просто сканируем буфер еще раз и добавляем его + в регулярный код.
Вчерашним числом?
Апдейт кода без новой версии?
Пример изменения кода не трудно привести?
...
Рейтинг: 0 / 0
09.06.2020, 12:21
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967351
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
mad_nazgul
selis76
mad_nazgul, у вас там какая то своя боль по поводу хранения в форматах XML Json и вы куда то повели далеко от темы
Как я ранее написал " Я их сохраняю в свой буфер, буфер на MSSQL" это именно буфер.


Если это кэш, то MS SQL для этого самое не подходящее решение.
Есть другие решения, которые справляются гораздо лучше и с меньшими накладными расходами.
Та же mongo. Если данных не слишком много, то можно In Memory DB.

Мне кажется ты уже третий раз киваешь подбородком на mongo.
Давай посмотрим цены на Amazon инстнции посуточно и может
так окажется что mongo/PG лежат вообще в одной ценовой категории.

 
(я имею в виду что цена не будет отличаться на порядки).


Тогда все равно что покупать. А PG даст опцию. Или возможность добавить
что-то реляционное. Монго такого точно не даст.
...
Рейтинг: 0 / 0
09.06.2020, 12:29
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967352
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
mayton,

Какой еще амазон? Только облако от антрилоси.ком!
...
Рейтинг: 0 / 0
09.06.2020, 12:30
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967355
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Ради бога. Тогда давайте в обсуждение внесем еще прейскурант на другие услуги и топик
будет в плоскости обсуждения как чего сделать дешевле. Я не против вобщем.

Инженер - должен быть еще и хозяйственник.
...
Рейтинг: 0 / 0
09.06.2020, 12:33
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967356
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
selis76,
Почему в буфере НЕ ИСХОДНОЕ сообщение в байтовом или символьном виде?
Код загрузки то одинаков.
С течением времени вы решили достать ветку ИмяЛюбовницы......
...
Рейтинг: 0 / 0
09.06.2020, 12:34
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967358
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Так ка сроки хранения буфера НА ДИСКЕ вы не указали, то такой юз кейс.
Вы раскурочили и перекодировали xml 15 летнюю на кредит.
Потом команда Продлить его.
А исходного то нет.
...
Рейтинг: 0 / 0
09.06.2020, 12:43
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967361
lleming
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
lleming
Участник
selis76
Dmitry.
наличие xml заголовка типа <?xml version="1.0" encoding="UTF-8" standalone="yes"?>
в java строке - абсурдно

т.к. для получения строки уже была использована кодировка

Код: java
1.
String messagetext = new String(body, "UTF-8");



т.е. если в body есть заголовок encoding="windows-1251" а ты применил "UTF-8", то ты поломал кодировку сообщения.

попробуй использовать TrueXML.setBinaryStream().write(body) вместо TrueXML.setString(messagetext)


Код: java
1.
TrueXML.setBinaryStream().write(body)

работает.
Хотя непонятно тогда почему на том же сообщении в UTF-8 НЕ работает
Код: java
1.
TrueXML.setString(messagetext)



Те кто писал библиотеку тоже люди
тут скорее всего просто берется кодировка платформы.
Код: sql
1.
TrueXML.setString(messagetext)


здесь
Код: sql
1.
TrueXML.setBinaryStream()


кодировка выдергивается из
Код: sql
1.
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>


в этом заголовке только ascii символы так можно читать в нескольких кодировках и везеде правильно прочитается
UTF8, latin, ascii
...
Рейтинг: 0 / 0
09.06.2020, 12:45
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967362
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Для истории можно было туловище документов писать в Log4j2 с ротацией и архивацией в gzip.
И пускай себе лежит. Обслуживание - минимальное.
...
Рейтинг: 0 / 0
09.06.2020, 12:45
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967365
selis76
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
selis76
Участник
mad_nazgul
selis76
mad_nazgul, у вас там какая то своя боль по поводу хранения в форматах XML Json и вы куда то повели далеко от темы
Как я ранее написал " Я их сохраняю в свой буфер, буфер на MSSQL" это именно буфер.


Если это кэш, то MS SQL для этого самое не подходящее решение.
Есть другие решения, которые справляются гораздо лучше и с меньшими накладными расходами.
Та же mongo. Если данных не слишком много, то можно In Memory DB.

Ну или вообще заменить вашу MQ на kafka, которая по умолчанию хранить сообщение 7 суток, этот параметр можно изменять.

Вы выбрали, самое не удачное решение, теперь боретесь с его последствиями. ;-)


Это именно буфер истории сообщений, сообщение как правило читается максиму 2 -3 раза при импорте в субд. За год может набежать 5 терабайт. Если хотите предложить лучшее решение нужно видеть полную картину и уже от нее думать, но я не дал достаточно информации чтобы думать ;)
...
Рейтинг: 0 / 0
09.06.2020, 12:47
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967367
selis76
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
selis76
Участник
[quot lleming#22147983]
selis76
пропущено...

...
здесь
Код: sql
1.
TrueXML.setBinaryStream()


кодировка выдергивается из
Код: sql
1.
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>


в этом заголовке только ascii символы так можно читать в нескольких кодировках и везеде правильно прочитается
UTF8, latin, ascii


Ну тогда это то что нужно, исходники интересно для Jdbc можно смотреть?
...
Рейтинг: 0 / 0
09.06.2020, 12:50
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967369
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
selis76,

Да кидай всё на диск в gzip. Зачем тебе эти субд? Надо будет что-то выбрать, вычитаешь с файла и распарсишь.
...
Рейтинг: 0 / 0
09.06.2020, 12:52
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967371
selis76
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
selis76
Участник
crutchmaster
selis76,

Да кидай всё на диск в gzip. Зачем тебе эти субд? Надо будет что-то выбрать, вычитаешь с файла и распарсишь.


мне тут смайликов недостаточно что выразить эмоции
...
Рейтинг: 0 / 0
09.06.2020, 12:58
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967373
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
selis76
мне тут смайликов недостаточно что выразить эмоции

Бери мои.


Да что такого? Сейчас ФС такие, что работают не хуже, чем субд в некоторых вещах. Ставишь этот модный zfs и вперёд.
...
Рейтинг: 0 / 0
09.06.2020, 13:03
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967374
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
selis76
crutchmaster
selis76,

Да кидай всё на диск в gzip. Зачем тебе эти субд? Надо будет что-то выбрать, вычитаешь с файла и распарсишь.


мне тут смайликов недостаточно что выразить эмоции

Ты-же понимаешь что над 1 постом обычно больше смеются. Пафоса-то больше.
...
Рейтинг: 0 / 0
09.06.2020, 13:03
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967375
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
crutchmaster
selis76
мне тут смайликов недостаточно что выразить эмоции

Бери мои.


Да что такого? Сейчас ФС такие, что работают не хуже, чем субд в некоторых вещах. Ставишь этот модный zfs и вперёд.

Zfs какраз не очень быстрый.
...
Рейтинг: 0 / 0
09.06.2020, 13:04
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967385
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
mayton,

Да зачем ему сильно быстрый? Главное, чтобы всё на месте осталось в случае чего и можно было откатываться. Транзакции им нахрен не нужны, там микросервисы с xml, какое-то хитрое индексирование, триггеры тоже. Надо будет аналитику, пробегутся по куче файлов, засунут что надо в субд, да посчитают. Что-то надо real-time - тоже отдельно, зачем 5тб/год тащить в субд?
...
Рейтинг: 0 / 0
09.06.2020, 13:14
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967391
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Для такого архива вообще не нужны транзакции. Только write-only. Идемпотентность. И политика бекапа чтоб хотя-бы в двух
разных датацентрах лежала копия. И гонять по нему Kibana для человеческого поиска. Она кстати прекрасно справляется
с gzip архивами и поиском по логам.
...
Рейтинг: 0 / 0
09.06.2020, 13:23
| Ответить | Цитировать | Написать  
Преобразовать XML utf-8 в utf-16 вместе с заголовком
    #39967407
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
crutchmaster,
Согласен. Они смешали боевую Модель данных (непротиворечивую и валидированную) и архив входных сообщений терабайтных.
Причем перекодированных.

авторЭто именно буфер истории сообщений, сообщение как правило читается максиму 2 -3 раза при импорте в субд. За год может набежать 5 терабайт. Если хотите предложить лучшее решение нужно видеть полную картину и уже от нее думать, но я не дал достаточно информации чтобы думать ;)
Ну дак мы и заключили по твоему молчанию что постановка - Г.
...
Рейтинг: 0 / 0
09.06.2020, 14:18
| Ответить | Цитировать | Написать  
25 сообщений из 64, страница 2 из 3
  2  все
Форумы / Java [игнор отключен] [закрыт для гостей] / Преобразовать XML utf-8 в utf-16 вместе с заголовком
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=39967358&tid=2120786]:
 0ms
get settings:
 3ms
get forum list:
 6ms
check forum access:
 1ms
check topic access:
 1ms
track hit:
 81ms
get topic data:
 3ms
get forum data:
 1ms
get page messages:
 409ms
get tp. blocked users:
 1ms
others: 300ms
total:  806ms
созд. / загр.: 806ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]