Уникальные значения через xmlstarlet / XML, XSL, XPath, XQuery

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / XML, XSL, XPath, XQuery [игнор отключен] [закрыт для гостей] / Уникальные значения через xmlstarlet

6 сообщений из 6, страница 1 из 1

Уникальные значения через xmlstarlet

#39453881

Alibek B

Участник

Сообщения: 3 881

Рейтинг: 0 / 0

Есть большой XML, с которым я работаю через пакет xmlstarlet (использует XPath 1).
Мне нужно получить список уникальных строк, которые будут отсортированы по длине и по значению.
Командная строка:

Код: plaintext

1.
2.
3.

xmlstarlet select -T -t -m "/reg:register/content[@blockType='domain']" \
 -s A:N:- "string-length(domain)" -s A:T:- "domain" \
 -v "set:distinct(domain)" -n data.xml

Сортирует правильно, но дубли почему-то не убирает.
Если прогонять через sort -u, то дубли убираются, но первоначальная сортировка теряется.
Не посоветуете, как избавиться от дублей?

...

Рейтинг:

0 / 0

16.05.2017, 15:10

| Ответить | Цитировать | Написать

Уникальные значения через xmlstarlet

#39453948

Alibek B

Участник

Сообщения: 3 881

Рейтинг: 0 / 0

Сделал через утилиту uniq в конвейере.
С помощью XPath от дублей избавиться не удалось.

...

Рейтинг:

0 / 0

16.05.2017, 16:15

| Ответить | Цитировать | Написать

Уникальные значения через xmlstarlet

#39454441

_Vasilisk_

Участник

Откуда: Украина, Харьков

Сообщения: 13 612

Рейтинг: 0 / 0

Покажите пример XML, что выбираете и, что такое дубли

...

Рейтинг:

0 / 0

17.05.2017, 11:06

| Ответить | Цитировать | Написать

Уникальные значения через xmlstarlet

#39454463

Alibek B

Участник

Сообщения: 3 881

Рейтинг: 0 / 0

XML выглядит примерно так:

Код: xml

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

<?xml version="1.0" encoding="utf-8"?>
<reg:register xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru" updateTime="2017-05-17T09:00:00+03:00" updateTimeUrgently="2017-05-16T20:47:00+03:00" formatVersion="2.2">
...
  <content id="193958" includeTime="2015-06-01T14:36:34" entryType="2" blockType="domain" hash="BCB7EBCF6134826A491012E23B51C7A8">
    <decision date="2015-05-19" number="определение о предварительном обеспечении по заявлению № 2и-0064/2015" org="Мосгорсуд"/>
    <domain><![CDATA[ex.ua]]></domain>
    <ip>93.158.209.26</ip>
  </content>
...
  <content id="311697" includeTime="2016-06-21T13:42:55" entryType="5" blockType="domain" hash="EAE836198AAEA3AEE5B905A4DF9D968F">
    <decision date="2016-04-06" number="решение суда по делу № 3-0504/2016" org="Мосгорсуд"/>
    <domain><![CDATA[ex.ua]]></domain>
    <ip>213.133.162.131</ip>
  </content>
...несколько тысяч узлов content...

В выводе есть, например, такое:

Код: plaintext

1.
2.

ex.ua
ex.ua

Они взяты из разных узлов /reg:register/content, содержимое domain совпадает, однако дубли не исключились.

...

Рейтинг:

0 / 0

17.05.2017, 11:20

| Ответить | Цитировать | Написать

Уникальные значения через xmlstarlet

#39454474

_Vasilisk_

Участник

Откуда: Украина, Харьков

Сообщения: 13 612

Рейтинг: 0 / 0

Попробуйте так

Код: javascript

/reg:register/content[@blockType='domain' and not(preceding:sibling::content[@blockType='domain' and domain = current()/domain])]

...

Рейтинг:

0 / 0

17.05.2017, 11:31

| Ответить | Цитировать | Написать

Уникальные значения через xmlstarlet

#39454491

Alibek B

Участник

Сообщения: 3 881

Рейтинг: 0 / 0

Да нет, это не эффективно, тогда лучше обрабатывать дубли в конвейере.
Мне было непонятно, почему set:distinct работает со странностями — он часть дублей убирает, часть оставляет.

...

Рейтинг:

0 / 0

17.05.2017, 11:44

| Ответить | Цитировать | Написать

6 сообщений из 6, страница 1 из 1

Форумы / XML, XSL, XPath, XQuery [игнор отключен] [закрыт для гостей] / Уникальные значения через xmlstarlet

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=14&gotonew=1&tid=1332031]:	0ms
get settings:	10ms
get forum list:	14ms
check forum access:	3ms
check topic access:	3ms
track hit:	29ms
get topic data:	11ms
get first new msg:	7ms
get forum data:	3ms
get page messages:	52ms
get tp. blocked users:	3ms
others:	13ms

total:	148ms