|
Быстрый парсер текста
|
||
|---|---|---|
Участник
Откуда: бурятский тундрюк, эсквайр
Сообщения: 33 443 |
||
| 12.10.2020, 13:13 |
|
|
|
|
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), Теоретически, теория и практика не различаются, но на практике, теория и практика различаются Теоретически хорошая концепция убьётся об рутину менеджмента памяти, тем более на многопоточных приложениях ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 09:32 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
Можно у mORMot посмотреть, они здорово заморачиваются насчет скорости https://raw.githubusercontent.com/synopse/mORMot/master/SynCommons.pas ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:03 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
Fr0sT-Brutal, какая к черту "скорость", если автор ничего не знает ни о требованиях, ни о реальных входных объемах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:07 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
ъъъъъ, если я их не говорю, не значит, что я их не знаю. я спросил ровно то, что хотел спросил. решение нашел. synopse молодцы основная мысль - меньше строк в потоках. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:25 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
насчет скорости/производительности. 5 потоков парсинга при работе с сообщением как с текстом не поднимали загрузку CPU больше 30% и не успевали разбирать, а при работе с сообщением как с массивом байт загрузка CPU 55% и успевают. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:30 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
cptngrb, Здесь не очень жалуют оптимизаторов. Заходи на Delphi Community в телеге - там больше возможностей дать тебе оперативный ответ по оптимизациям Кстати скоро будет очередной релиз Tiny.Library - там отпишу ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:32 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU kealon(Ruslan), Теоретически, теория и практика не различаются, но на практике, теория и практика различаются Теоретически хорошая концепция убьётся об рутину менеджмента памяти, тем более на многопоточных приложениях ) а всё что с этим уже делается, к оценке не относится ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:35 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), Да ладно Давай устроим батл Ты будешь выдавать строки, а я задействую CachedTexts ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:37 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU, зачем выдавать строки? ты же с лексером сравниваться хочешь, он тип лексем выдаёт все pas-файлы с папки "C:\Program Files (x86)\Embarcadero\Studio\*\source\" у меня даже готовое где-то было, а то это у тебя времени много хотя мне кажется с лексером всё упрётся в чтение диска ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:43 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU, среди кучи говна в ответах часто встречаются стоящие советы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:44 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), А лексемы не используют строки? Кстати по поводу диска. Судя по описанию, документы приходят по сети, значит можно замерять чтение из памяти ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:46 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU kealon(Ruslan), А лексемы не используют строки? Кстати по поводу диска. Судя по описанию, документы приходят по сети, значит можно замерять чтение из памяти ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 12:00 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), Это прекрасно всё Только как ты будешь обрабатывать даты, числа, ФИО? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 12:13 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU kealon(Ruslan), Это прекрасно всё Только как ты будешь обрабатывать даты, числа, ФИО? его функция - выделить "слова", а что ты там с ними будешь делать, это уже другой вопрос хоть те же функции из mORMot возьми для обработки ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 12:23 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), Вопрос тот же Давай с тебя лексер + mORMot С меня CachedTexts :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 12:40 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU kealon(Ruslan), Вопрос тот же Давай с тебя лексер + mORMot С меня CachedTexts :) что конкретно ты собрался парсить? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 12:49 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), У автора можно взять тестовые данные Документов 10 загнать в память и пропарсить 100500 раз Из разных потоков ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 12:59 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
> У автора можно взять тестовые данные он прям разбежался ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 13:02 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
Дегтярев Евгений, Пусть тестовый пример зафигачит с несколькими потоками Ему же нужен быстрый парсер ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 13:04 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOUЕму же нужен быстрый парсер Он думает, что ему нужен быстрый парсер, но, скорее всего, он ошибается. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 13:07 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov, Судя по этому 22212530 нужен Ну и даже если не нужен, программерские батлы, если по результату появляются новые знания - хороши Это нормально иногда мериться письками Программерскими ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 13:12 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
12.10.2020 13:07, Dimitry Sibiryakov пишет: > Он думает, что ему нужен быстрый парсер, но, скорее всего, он ошибается. я восхищен! так культурно и завуалировано дать понять, что КГ/АМ... я б так не смог Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 13:13 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
cptngrb насчет скорости/производительности. 5 потоков парсинга при работе с сообщением как с текстом не поднимали загрузку CPU больше 30% и не успевали разбирать, а при работе с сообщением как с массивом байт загрузка CPU 55% и успевают. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 14:25 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
А я рад за пропускную способность сетки ТСа)) так накидывать данные, что парсер загинается. По-ходу системы видеонаблюдений отдыхают)) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 14:39 |
|
||
|
|
start [/forum/topic.php?fid=58&msg=40007635&tid=2037934]: |
0ms |
get settings: |
9ms |
get forum list: |
16ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
36ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
57ms |
get tp. blocked users: |
1ms |
| others: | 214ms |
| total: | 349ms |
| 0 / 0 |
