ReSQL.ru
     
powered by simpleCommunicator - 2.0.41     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / perl 5 pipe поможите нубу
5 сообщений из 5, страница 1 из 1
perl 5 pipe поможите нубу
    #39802927
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
мы сами не местные. заранее извиняюсь

написал простенький скрипт:
Код: php
1.
2.
3.
4.
5.
6.
7.
8.
#!/usr/bin/perl
use XML::Entities;
use utf8::all;


while (my $line =<STDIN>)
	{print XML::Entities::decode('all',$line)
	}


натравливаю в коммандной (ubuntu)

Код: powershell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
:~$ cat  tmp/test.tmp  |perl  -p tmp/trypipe.pl
2766681961	 type	 ConferencePaper	 .
2766681961	 title	 "&#24773;&#22577;&#33853;&#12385;&#12434;&#32771;&#30439;&#12375;&#12383;&#30701;&#12500;&#12483;&#12488;&#38263;&#12501;&#12457;&#12540;&#12510;&#12483;&#12488;&#12395;&#12424;&#12427;DCNN&#12488;&#12524;&#12540;&#12491;&#12531;&#12464;&#12398;&#26908;&#35342;\\n\\n"^^string	 .
2766681961	 publicationDate	 "2017-10-31"^^date	 .
2012081278       title   "Figure of Merit of (Sb0.75Bi0.25)2&#8722;xInxTe2.8Se0.2 Single Crystals"^^string      .
2012081281       title   "Room to grow—In creative environments or on adult premises?"^^string    .
2012081306       title   "Book Review: Andrew I. Port, Conflict and Stability in the German Democratic Republic, Cambridge University Press: Cambridge, 2007; 326 pp.; 9780521866514, &#163;49.00 (hbk); 9780521744171, &#163;18.99 (pbk)"^^string   .
2012081367       title   "IgSF13, a novel human inhibitory receptor of the immunoglobulin superfamily, is preferentially expressed in dendritic cells and monocytes &#9734;"^^string    .
2798428356	 title	 "Algunes q&#252;estions clau de protecci&#243; de dades al n&#250;vol. Cap a una «regulaci&#243; nebulosa»"^^string	 .
0	this  is	first line


на файлиик такого содержания :
 
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
0	this  is	first line
2766681961	 type	 ConferencePaper	 .
2766681961	 title	 "情報落ちを考盧した短ピット長フォーマットによるDCNNトレーニングの検討\\n\\n"^^string	 .
2766681961	 publicationDate	 "2017-10-31"^^date	 .
2012081278       title   "Figure of Merit of (Sb0.75Bi0.25)2−xInxTe2.8Se0.2 Single Crystals"^^string      .
2012081281       title   "Room to grow—In creative environments or on adult premises?"^^string    .
2012081306       title   "Book Review: Andrew I. Port, Conflict and Stability in the German Democratic Republic, Cambridge University Press: Cambridge, 2007; 326 pp.; 9780521866514, £49.00 (hbk); 9780521744171, £18.99 (pbk)"^^string   .
2012081367       title   "IgSF13, a novel human inhibitory receptor of the immunoglobulin superfamily, is preferentially expressed in dendritic cells and monocytes ☆"^^string    .
2798428356	 title	 "Algunes qüestions clau de protecció de dades al núvol. Cap a una «regulació nebulosa»"^^string	 .

//-- тут в предпросмотре отлично анэскепится. .т.е. для понимания вероятно надо будет просмотреть исходник поста

-- почему-то первая строка утекла в конец.(и не декодится)


приставляю пару строк для теста:
Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
$ cat tmp/empty.txt  tmp/empty.txt tmp/test.tmp  |perl  -p tmp/trypipe.pl
&	'	«	&
0	this  is	first line
2766681961	 type	 ConferencePaper	 .
2766681961	 title	 "&#24773;&#22577;&#33853;&#12385;&#12434;&#32771;&#30439;&#12375;&#12383;&#30701;&#12500;&#12483;&#12488;&#38263;&#12501;&#12457;&#12540;&#12510;&#12483;&#12488;&#12395;&#12424;&#12427;DCNN&#12488;&#12524;&#12540;&#12491;&#12531;&#12464;&#12398;&#26908;&#35342;\\n\\n"^^string	 .
2766681961	 publicationDate	 "2017-10-31"^^date	 .
2012081278       title   "Figure of Merit of (Sb0.75Bi0.25)2&#8722;xInxTe2.8Se0.2 Single Crystals"^^string      .
2012081281       title   "Room to grow—In creative environments or on adult premises?"^^string    .
2012081306       title   "Book Review: Andrew I. Port, Conflict and Stability in the German Democratic Republic, Cambridge University Press: Cambridge, 2007; 326 pp.; 9780521866514, &#163;49.00 (hbk); 9780521744171, &#163;18.99 (pbk)"^^string   .
2012081367       title   "IgSF13, a novel human inhibitory receptor of the immunoglobulin superfamily, is preferentially expressed in dendritic cells and monocytes &#9734;"^^string    .
2798428356	 title	 "Algunes q&#252;estions clau de protecci&#243; de dades al n&#250;vol. Cap a una «regulaci&#243; nebulosa»"^^string	 .
&	&#039;	&#x00AB;	&



-- что я делаю не так ?

 
-- факультативно :
прямо в коммандной строке
Код: powershell
1.
perl -p -e '.... '


вообще не удается впихнуть аналог скрипта -- ошибка в строке примерно тут
Код: plaintext
1.
...while ;(my $line =<STDIN>){
                   ^
наверняка есть примитивная причина, по которой так низзя, но где ее зачитать ?


-- файлики в 100++--300++ гигов. хотелось бы чем-то pipelin-ить. sed на сложных вещах отстает от простого набора пайпов по простеньким регекспам ...|perl -p -e 's/xxx/yyy/g/'|perl -p -e 's/xxx/yyy/g/'|....
...
Рейтинг: 0 / 0
17.04.2019, 16:28
| Ответить | Цитировать | Написать  
perl 5 pipe поможите нубу
    #39802929
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
qwwqмы сами не местные. заранее извиняюсь

написал простенький скрипт:
Код: php
1.
2.
3.
4.
5.
6.
7.
8.
#!/usr/bin/perl
use XML::Entities;
use utf8::all;


while (my $line =<STDIN>)
	{print XML::Entities::decode('all',$line)
	}


натравливаю в коммандной (ubuntu)

Код: powershell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
:~$ cat  tmp/test.tmp  |perl  -p tmp/trypipe.pl
2766681961	 type	 ConferencePaper	 .
2766681961	 title	 "&#24773;&#22577;&#33853;&#12385;&#12434;&#32771;&#30439;&#12375;&#12383;&#30701;&#12500;&#12483;&#12488;&#38263;&#12501;&#12457;&#12540;&#12510;&#12483;&#12488;&#12395;&#12424;&#12427;DCNN&#12488;&#12524;&#12540;&#12491;&#12531;&#12464;&#12398;&#26908;&#35342;\\n\\n"^^string	 .
2766681961	 publicationDate	 "2017-10-31"^^date	 .
2012081278       title   "Figure of Merit of (Sb0.75Bi0.25)2&#8722;xInxTe2.8Se0.2 Single Crystals"^^string      .
2012081281       title   "Room to grow—In creative environments or on adult premises?"^^string    .
2012081306       title   "Book Review: Andrew I. Port, Conflict and Stability in the German Democratic Republic, Cambridge University Press: Cambridge, 2007; 326 pp.; 9780521866514, &#163;49.00 (hbk); 9780521744171, &#163;18.99 (pbk)"^^string   .
2012081367       title   "IgSF13, a novel human inhibitory receptor of the immunoglobulin superfamily, is preferentially expressed in dendritic cells and monocytes &#9734;"^^string    .
2798428356	 title	 "Algunes q&#252;estions clau de protecci&#243; de dades al n&#250;vol. Cap a una «regulaci&#243; nebulosa»"^^string	 .
0	this  is	first line


на файлиик такого содержания :
 
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
0	this  is	first line
2766681961	 type	 ConferencePaper	 .
2766681961	 title	 "情報落ちを考盧した短ピット長フォーマットによるDCNNトレーニングの検討\\n\\n"^^string	 .
2766681961	 publicationDate	 "2017-10-31"^^date	 .
2012081278       title   "Figure of Merit of (Sb0.75Bi0.25)2−xInxTe2.8Se0.2 Single Crystals"^^string      .
2012081281       title   "Room to grow—In creative environments or on adult premises?"^^string    .
2012081306       title   "Book Review: Andrew I. Port, Conflict and Stability in the German Democratic Republic, Cambridge University Press: Cambridge, 2007; 326 pp.; 9780521866514, £49.00 (hbk); 9780521744171, £18.99 (pbk)"^^string   .
2012081367       title   "IgSF13, a novel human inhibitory receptor of the immunoglobulin superfamily, is preferentially expressed in dendritic cells and monocytes ☆"^^string    .
2798428356	 title	 "Algunes qüestions clau de protecció de dades al núvol. Cap a una «regulació nebulosa»"^^string	 .

//-- тут в предпросмотре отлично анэскепится. .т.е. для понимания вероятно надо будет просмотреть исходник поста

-- почему-то первая строка утекла в конец.(и не декодится)


приставляю пару строк для теста:
Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
$ cat tmp/empty.txt  tmp/empty.txt tmp/test.tmp  |perl  -p tmp/trypipe.pl
&	'	«	&
0	this  is	first line
2766681961	 type	 ConferencePaper	 .
2766681961	 title	 "&#24773;&#22577;&#33853;&#12385;&#12434;&#32771;&#30439;&#12375;&#12383;&#30701;&#12500;&#12483;&#12488;&#38263;&#12501;&#12457;&#12540;&#12510;&#12483;&#12488;&#12395;&#12424;&#12427;DCNN&#12488;&#12524;&#12540;&#12491;&#12531;&#12464;&#12398;&#26908;&#35342;\\n\\n"^^string	 .
2766681961	 publicationDate	 "2017-10-31"^^date	 .
2012081278       title   "Figure of Merit of (Sb0.75Bi0.25)2&#8722;xInxTe2.8Se0.2 Single Crystals"^^string      .
2012081281       title   "Room to grow—In creative environments or on adult premises?"^^string    .
2012081306       title   "Book Review: Andrew I. Port, Conflict and Stability in the German Democratic Republic, Cambridge University Press: Cambridge, 2007; 326 pp.; 9780521866514, &#163;49.00 (hbk); 9780521744171, &#163;18.99 (pbk)"^^string   .
2012081367       title   "IgSF13, a novel human inhibitory receptor of the immunoglobulin superfamily, is preferentially expressed in dendritic cells and monocytes &#9734;"^^string    .
2798428356	 title	 "Algunes q&#252;estions clau de protecci&#243; de dades al n&#250;vol. Cap a una «regulaci&#243; nebulosa»"^^string	 .
&	&#039;	&#x00AB;	&



-- что я делаю не так ?

 
-- факультативно :
прямо в коммандной строке
Код: powershell
1.
perl -p -e '.... '


вообще не удается впихнуть аналог скрипта -- ошибка в строке примерно тут
Код: plaintext
1.
...while ;(my $line =<STDIN>){
                   ^
наверняка есть примитивная причина, по которой так низзя, но где ее зачитать ?


-- файлики в 100++--300++ гигов. хотелось бы чем-то pipelin-ить. sed на сложных вещах отстает от простого набора пайпов по простеньким регекспам ...|perl -p -e 's/xxx/yyy/g/'|perl -p -e 's/xxx/yyy/g/'|....
инвертирую ?
...
Рейтинг: 0 / 0
17.04.2019, 16:29
| Ответить | Цитировать | Написать  
perl 5 pipe поможите нубу
    #39802934
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
инвертировать не удалось.
т.ч. попробуйте читать исходный пост с точностью до обращения искейпинга в исходном файле и результатах вывода
...
Рейтинг: 0 / 0
17.04.2019, 16:32
| Ответить | Цитировать | Написать  
perl 5 pipe поможите нубу
    #39807944
Фотография volodin661
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
volodin661
Участник
perl -C -MHTML::Entities -pe '$_=encode_entities($_)' <<< "情報落ちを考盧した短ピット長フォーマットによるDCNNトレーニングの検討"

output:
& #x60C5;& #x5831;落& #x3061;& #x3092;& #x8003;& #x76E7;& #x3057;& #x305F;& #x77ED;& #x30D4;& #x30C3;& #x30C8;& #x9577;& #x30D5;& #x30A9;& #x30FC;& #x30DE;& #x30C3;& #x30C8;& #x306B;& #x3088;& #x308B;DCNN& #x30C8;& #x30EC;& #x30FC;& #x30CB;& #x30F3;& #x30B0;& #x306E;& #x691C;& #x8A0E;
...
Рейтинг: 0 / 0
29.04.2019, 20:56
| Ответить | Цитировать | Написать  
perl 5 pipe поможите нубу
    #39807946
Фотография volodin661
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
volodin661
Участник
пробел между & и # в выводе вставил искусственно, чтобы сайт не покорёжил
...
Рейтинг: 0 / 0
29.04.2019, 20:58
| Ответить | Цитировать | Написать  
5 сообщений из 5, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / perl 5 pipe поможите нубу
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=23&fpage=16&tid=1459951]:
 0ms
get settings:
 11ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 27ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 42ms
get tp. blocked users:
 2ms
others: 250ms
total:  368ms
созд. / загр.: 368ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]