|
Быстрый парсер текста
|
||
|---|---|---|
Участник
Откуда: бурятский тундрюк, эсквайр
Сообщения: 33 443 |
||
| 12.10.2020, 13:13:59 |
|
|
|
|
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), Теоретически, теория и практика не различаются, но на практике, теория и практика различаются Теоретически хорошая концепция убьётся об рутину менеджмента памяти, тем более на многопоточных приложениях ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 09:32:52 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
Можно у mORMot посмотреть, они здорово заморачиваются насчет скорости https://raw.githubusercontent.com/synopse/mORMot/master/SynCommons.pas ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:03:04 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
Fr0sT-Brutal, какая к черту "скорость", если автор ничего не знает ни о требованиях, ни о реальных входных объемах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:07:43 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
ъъъъъ, если я их не говорю, не значит, что я их не знаю. я спросил ровно то, что хотел спросил. решение нашел. synopse молодцы основная мысль - меньше строк в потоках. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:25:51 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
насчет скорости/производительности. 5 потоков парсинга при работе с сообщением как с текстом не поднимали загрузку CPU больше 30% и не успевали разбирать, а при работе с сообщением как с массивом байт загрузка CPU 55% и успевают. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:30:09 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
cptngrb, Здесь не очень жалуют оптимизаторов. Заходи на Delphi Community в телеге - там больше возможностей дать тебе оперативный ответ по оптимизациям Кстати скоро будет очередной релиз Tiny.Library - там отпишу ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:32:48 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU kealon(Ruslan), Теоретически, теория и практика не различаются, но на практике, теория и практика различаются Теоретически хорошая концепция убьётся об рутину менеджмента памяти, тем более на многопоточных приложениях ) а всё что с этим уже делается, к оценке не относится ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:35:30 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), Да ладно Давай устроим батл Ты будешь выдавать строки, а я задействую CachedTexts ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:37:04 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU, зачем выдавать строки? ты же с лексером сравниваться хочешь, он тип лексем выдаёт все pas-файлы с папки "C:\Program Files (x86)\Embarcadero\Studio\*\source\" у меня даже готовое где-то было, а то это у тебя времени много хотя мне кажется с лексером всё упрётся в чтение диска ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:43:01 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU, среди кучи говна в ответах часто встречаются стоящие советы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:44:45 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), А лексемы не используют строки? Кстати по поводу диска. Судя по описанию, документы приходят по сети, значит можно замерять чтение из памяти ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 11:46:25 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU kealon(Ruslan), А лексемы не используют строки? Кстати по поводу диска. Судя по описанию, документы приходят по сети, значит можно замерять чтение из памяти ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 12:00:16 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), Это прекрасно всё Только как ты будешь обрабатывать даты, числа, ФИО? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 12:13:27 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU kealon(Ruslan), Это прекрасно всё Только как ты будешь обрабатывать даты, числа, ФИО? его функция - выделить "слова", а что ты там с ними будешь делать, это уже другой вопрос хоть те же функции из mORMot возьми для обработки ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 12:23:45 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), Вопрос тот же Давай с тебя лексер + mORMot С меня CachedTexts :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 12:40:04 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOU kealon(Ruslan), Вопрос тот же Давай с тебя лексер + mORMot С меня CachedTexts :) что конкретно ты собрался парсить? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 12:49:21 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
kealon(Ruslan), У автора можно взять тестовые данные Документов 10 загнать в память и пропарсить 100500 раз Из разных потоков ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 12:59:25 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
> У автора можно взять тестовые данные он прям разбежался ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 13:02:49 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
Дегтярев Евгений, Пусть тестовый пример зафигачит с несколькими потоками Ему же нужен быстрый парсер ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 13:04:16 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
SOFT FOR YOUЕму же нужен быстрый парсер Он думает, что ему нужен быстрый парсер, но, скорее всего, он ошибается. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 13:07:33 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov, Судя по этому 22212530 нужен Ну и даже если не нужен, программерские батлы, если по результату появляются новые знания - хороши Это нормально иногда мериться письками Программерскими ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 13:12:00 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
12.10.2020 13:07, Dimitry Sibiryakov пишет: > Он думает, что ему нужен быстрый парсер, но, скорее всего, он ошибается. я восхищен! так культурно и завуалировано дать понять, что КГ/АМ... я б так не смог Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 13:13:59 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
cptngrb насчет скорости/производительности. 5 потоков парсинга при работе с сообщением как с текстом не поднимали загрузку CPU больше 30% и не успевали разбирать, а при работе с сообщением как с массивом байт загрузка CPU 55% и успевают. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 14:25:34 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
А я рад за пропускную способность сетки ТСа)) так накидывать данные, что парсер загинается. По-ходу системы видеонаблюдений отдыхают)) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 14:39:02 |
|
||
|
Быстрый парсер текста
|
|||
|---|---|---|---|
|
#18+
cptngrb основная мысль - меньше строк в потоках. Да, т.к. это основной perf-киллер. Выделить строку, заполнить, помацать счетчик ссылок через блокировку, удалить строку... парсинг по месту конечно быстрее будет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.10.2020, 15:03:45 |
|
||
|
|
start [/forum/topic.php?fid=58&msg=40007662&tid=2037934]: |
0ms |
get settings: |
15ms |
get forum list: |
14ms |
check forum access: |
7ms |
check topic access: |
7ms |
track hit: |
48ms |
get topic data: |
16ms |
get forum data: |
4ms |
get page messages: |
62ms |
get tp. blocked users: |
2ms |
| others: | 335ms |
| total: | 510ms |
| 0 / 0 |
