Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Ann: LDSLogger updated / 25 сообщений из 37, страница 1 из 2
20.03.2019, 13:05
    #39788981
DmSer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
Помню, Анатолий в таких случаях советовал добавлять префикс Ann.

Как я недавно и обещал в одном из обсуждений, обновил свой велосипед модуль для логгирования: LDSLogger.pas.

Ссылка:
https://svn.code.sf.net/p/loginovprojects/code-0/trunk/ldslogger
(скопирована из тортойза)

Обновление только под винду, поддерживаются любые версии Delphi, текст пишется в кодировке ANSI. Вариант под лазарус тоже есть, но он дорабатывается по остаточному принципу.

Последнее изменение было следующим: добавлена глобальная переменная LDSLoggerLazyWriteDelay, которая определяет задержку перед записью на диск.
В одном из своих проектов я выставил LDSLoggerLazyWriteDelay=5000. Там несколько сотен потоков, каждый из них всё время что-нибудь пишет. Раньше была довольно высокая нагрузка на диск (ProcMon'ом невозможно было пользоваться для отслеживания активности работы с файлами), теперь нагрузка стала действительно копеечной.
Также доработка должна помочь экономить ресурс SSD.
Параметр LDSLoggerLazyWriteDelay используется совместно с режимом LazyWrite (он по умолчанию ВЫКЛЮЧЕН).
...
Рейтинг: 0 / 0
20.03.2019, 13:48
    #39789022
wadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
DmSerдобавлена глобальная переменная LDSLoggerLazyWriteDelay, которая определяет задержку перед записью на диск.
Интересная фича. Возьму на вооружение на всякий, пока не сталкивался с высокой нагрузкой. :)
...
Рейтинг: 0 / 0
20.03.2019, 16:00
    #39789133
DmSer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
пока не сталкивался с высокой нагрузкой

Реальная проблема возникает, если сотня потоков начнёт одновременно писать логи каждый в свой файл без режима LazyWrite на HDD. В таких ситуациях я неоднократно видел синий экран.
...
Рейтинг: 0 / 0
20.03.2019, 16:05
    #39789138
defecator
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
DmSerпока не сталкивался с высокой нагрузкой

Реальная проблема возникает, если сотня потоков начнёт одновременно писать логи каждый в свой файл без режима LazyWrite на HDD. В таких ситуациях я неоднократно видел синий экран.
я так думаю, что синий экран таки не из-за этого, а аз-за того, что железо мала-мала подыхает
...
Рейтинг: 0 / 0
20.03.2019, 16:41
    #39789160
DmSer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
я так думаю, что синий экран таки не из-за этого, а аз-за того, что железо мала-мала подыхает

Данная проблема начала возникать у клиента, мы долго не могли понять в чём дело, а когда поняли, то смогли легко воспроизвести у себя (на Windows 7). Причем проблема не у потоков, которые пишут одновременно в разные файлы, а проблема у Windows, которая пытается что-то важное прочитать с HDD, но ей не дают.
...
Рейтинг: 0 / 0
20.03.2019, 16:54
    #39789165
wadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
DmSerа проблема у Windows, которая пытается что-то важное прочитать с HDD, но ей не дают.
Кэширование отключено?

Сотня потоков логируют в один файл общение с железками. Общение у каждого 3-5 операций туда-обратно в секунду пакетами по 10-50 байт. Это какая нагрузка по твоей классификации?
...
Рейтинг: 0 / 0
20.03.2019, 17:16
    #39789170
DmSer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
wadmanDmSerа проблема у Windows, которая пытается что-то важное прочитать с HDD, но ей не дают.
Кэширование отключено?

У клиента - VDS в датацентре, у нас обычный десктоп. Кэширование не отключали.

Сотня потоков логируют в один файл общение с железками. Общение у каждого 3-5 операций туда-обратно в секунду пакетами по 10-50 байт. Это какая нагрузка по твоей классификации?

Это мало. В нашем случае число записей/чтений в пике было в десяток раз больше.
...
Рейтинг: 0 / 0
20.03.2019, 18:14
    #39789201
Дегтярев Евгений
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
о, свн жив o_O
...
Рейтинг: 0 / 0
20.03.2019, 20:34
    #39789253
defecator
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
DmSer,

и как по ссылке качать ?
По одному файлу ?
...
Рейтинг: 0 / 0
20.03.2019, 20:36
    #39789254
defecator
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
DmSerwadmanпропущено...

Кэширование отключено?

У клиента - VDS в датацентре, у нас обычный десктоп. Кэширование не отключали.

Сотня потоков логируют в один файл общение с железками. Общение у каждого 3-5 операций туда-обратно в секунду пакетами по 10-50 байт. Это какая нагрузка по твоей классификации?

Это мало. В нашем случае число записей/чтений в пике было в десяток раз больше.

у меня в системе видеонаблюдения от нескольких десятков камер одновременно льются потоки 25 кадров в секунду, и никаких синих экранов
...
Рейтинг: 0 / 0
20.03.2019, 20:43
    #39789256
defecator
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
короче, пришлось достать старый добрый Телепорт образца 2001-го года
...
Рейтинг: 0 / 0
20.03.2019, 22:04
    #39789273
DmSer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
Синий экран в моем случае получался при таком раскладе:
1) 100 потоков одновременно писали каждый в свой лог файл. В ходе этого каждый из них делал кучу запросов к базе данных. При этом простейшие запросы выполнялись по минуте.
2) в основном потоке был таймер, который также приводил к обращению к БД и записи в лог. В итоге интерфейс программы зависал напрочь.
3) через некоторое время получался синий экран.
...
Рейтинг: 0 / 0
21.03.2019, 14:48
    #39789628
Arioch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
defecator,

я тут недавно пытался искать программЫ, которые тупо скачивают сайты

всё такое до ж..ы красивенькое, но в отличие от Телепорта ни хрена не работает
...
Рейтинг: 0 / 0
21.03.2019, 15:43
    #39789685
defecator
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
Ariochdefecator,

я тут недавно пытался искать программЫ, которые тупо скачивают сайты

всё такое до ж..ы красивенькое, но в отличие от Телепорта ни хрена не работает
вот поэтому я древнейшим телепортом и пользуюсь до сих пор
...
Рейтинг: 0 / 0
21.03.2019, 20:33
    #39789841
Василий 2
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
defecatorкороче, пришлось достать старый добрый Телепорт образца 2001-го года
Извращенцы... svn co недостаточно хардкорно? А если уж хочется черезжопное путешествие, то wget в режиме mirror
...
Рейтинг: 0 / 0
22.03.2019, 09:21
    #39789896
defecator
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
Василий 2defecatorкороче, пришлось достать старый добрый Телепорт образца 2001-го года
Извращенцы... svn co недостаточно хардкорно? А если уж хочется черезжопное путешествие, то wget в режиме mirror
зачем wget, если есть Телепорт ?
...
Рейтинг: 0 / 0
22.03.2019, 10:07
    #39789914
Док
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
defecatorзачем wget, если есть Телепорт ?
телепорт тоже является svn-клиентом?
...
Рейтинг: 0 / 0
22.03.2019, 10:11
    #39789918
defecator
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
Докdefecatorзачем wget, если есть Телепорт ?
телепорт тоже является svn-клиентом?

а wget разве является svn клиентом ?
...
Рейтинг: 0 / 0
22.03.2019, 10:44
    #39789933
Док
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
defecatorа wget разве является svn клиентом ?
формально нет. Но применяется традиционно и кроссплатформенно для закачки с svn-ресурсов, насколько мне известно.

А Телепорт для этих целей - весьма свежо и креативно, хотя и подменяет понятия теплое на мягкое
...
Рейтинг: 0 / 0
22.03.2019, 10:56
    #39789938
defecator
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
Докdefecatorа wget разве является svn клиентом ?
формально нет. Но применяется традиционно и кроссплатформенно для закачки с svn-ресурсов, насколько мне известно.

А Телепорт для этих целей - весьма свежо и креативно, хотя и подменяет понятия теплое на мягкое

мне были нужны только файлы, svn не нужен.

Когда мне нужен SVN, я пользуюсь TortoiseSVN
...
Рейтинг: 0 / 0
22.03.2019, 16:17
    #39790193
Док
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
defecatorКогда мне нужен SVN, я пользуюсь TortoiseSVN
ну хоть в чем-то мы с тобой солидарны
...
Рейтинг: 0 / 0
24.03.2019, 19:39
    #39790666
Дегтярев Евгений
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
ДокdefecatorКогда мне нужен SVN, я пользуюсь git
ну хоть в чем-то мы с тобой солидарны

...
Рейтинг: 0 / 0
24.03.2019, 21:19
    #39790677
defecator
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
Дегтярев ЕвгенийДокпропущено...

ну хоть в чем-то мы с тобой солидарны

...
Рейтинг: 0 / 0
24.03.2019, 22:32
    #39790685
bk0010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
defecatorДегтярев Евгенийпропущено...

...
Рейтинг: 0 / 0
24.03.2019, 22:38
    #39790687
defecator
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ann: LDSLogger updated
bk0010defecatorпропущено...
...
Рейтинг: 0 / 0
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Ann: LDSLogger updated / 25 сообщений из 37, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]