|
|
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
Сабж Письма все одинаковые, кол-во ~17000 например: 1-00033345545-0343545556 -0 1-00033345545-0343545556 -1 .... 1-00033345545-0343545556 -17000 как с этим боротся? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.02.2004, 10:54 |
|
||
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
ASA 8.0.2.4251 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.02.2004, 12:21 |
|
||
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
Вариант номер раз: Слишком частая посылка сообщений. База не успела измениться а уже опять позвали dbremote. В этом случае оно сформирует пустое сообщение означающее что мол "я живая, но измений с предущего запуска не было". Метод лечения - посмотреть процедуру запуска dbremote и запускать процесс посылки сообщений реже. (возможно ключ -sd если dbremote висит как сервис) Варинат номер два: Установлено ограничение на размер сообщений. Слишком урезано то есть. Ключики -l и -g ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.02.2004, 20:04 |
|
||
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
Вариант номер раз: Слишком частая посылка сообщений. База не успела измениться а уже опять позвали dbremote. В этом случае оно сформирует пустое сообщение означающее что мол "я живая, но измений с предущего запуска не было". Метод лечения - посмотреть процедуру запуска dbremote и запускать процесс посылки сообщений реже. (возможно ключ -sd если dbremote висит как сервис) А что значит база не успела изменится???? Если не было изменений в базе, то будет только 1 посылка маленькая Варинат номер два: Установлено ограничение на размер сообщений. Слишком урезано то есть. Ключики -l и -g Ключи выставлены ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2004, 13:01 |
|
||
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
Variant nomer 1 i mne prositsia... -sd.. no ja vot dumaju verno li -sd=send every v opisanii repliki... Mozet send every vystavlen = 1 minute? (V Sybase Central posmotret mozno) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2004, 14:14 |
|
||
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
> А что значит база не успела изменится???? То и значит. Не было ни одной закрытой транзакции с предыдущего сеанса отсылки сообщений. > Если не было изменений в базе, то будет только 1 посылка маленькая Все верно. Одна посылка в 85 байт. На каждый сеанс обмена сообщениями. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2004, 17:56 |
|
||
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
Полностью согласен оно так должно работать и работает.....в большинстве случаев но бывает,что таких вот маленьких писем валится огромное количество за раз притом т.к. 1-454654545-34343434-0 ... 1-454654545-34343434-10000 то это значит что это 1 сообщение, но разбито на много посылок нор посылки то маленькие ну очень...85 байт как было сказано, а ключики выставлены на намного больший максимальный размер сообщения создается впечатление, что эт глю Sybase ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2004, 11:59 |
|
||
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
Ну я ж с самого начала сказал - слишком частая посылка сообщений. Посмотри когда было создано первое сообщение, и с какой частотой они создавались. Посмотри даты модификации файлов в конце концов! Спроси оператора отвечающего за эту базу - когда она вносила последние изменения. А увеличение циферки которая через тире рисуется не всегда означает что это вторая, третья, сотая часть сообщения. В данном случае это уже сотое сообщение от базы в которой лог файл не изменился. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.02.2004, 17:21 |
|
||
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
НЕ для roleks-a. Мы с ним про это говорили. Немного проясню ситуацию. У меня вскакивала эта проблема. Происходит сие чудо в момент, когда консолидированной базе надо разослать большие обьемы одновременно каждому удаленному юзеру и юзеров этих много. Мне удалось остановить процесс рассылки в момент когда это произошло. Я перевел юзеров на файловый протокол (стоял СМТП) и установил опцию компрессии в 0. Запустил процесс до конца. Что в результате получилось: - некоторым юзерам было послано 5 сообщений по ~3 Мб (компрессия на 0) - некоторым 60 по ~15 Кб - некоторым 1300 по ~1 Кб Просмотрел содержимое файлов для тех кому было послано 1300 сообщений и обнаружил что в каждом сообщении было по одному SQL оператору INSERT or UPDATE. Операторы для всех ремоте-юзеров одинаковые. Я обращался в поддержку, но конкретно мне ничего не ответили. Одна из идей которую мне подсказали и которая похожа на правду - нехватка памяти для dbremote т.е. значение ключа -m. На сколько я понимаю - надо правильно установить комбинацию ключей -l и -m. Какие значения оптимальные или как их рассчитать? - никто ответ на этот вопрос дать пока не смог. Или дело в проектировании публикаций ... Выход (ИМХО) в следующем: - рассылку по юзерам разнести по времени. Но это не спасает, когда база долго не была запущена например более суток. Запуск агента вначале в режиме "только на отсылку" не помогает потому, что он может не для всех сгенерировать сообщение т.е. изменить значение поля Next_send. Проверено. Может кто знает как изменить значение поля Next_send вручную перед запуском агента ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2004, 17:03 |
|
||
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
НЕ для roleks-a. Мы с ним про это говорили. Немного проясню ситуацию. У меня вскакивала эта проблема. Происходит сие чудо в момент, когда консолидированной базе надо разослать большие обьемы одновременно каждому удаленному юзеру и юзеров этих много. Мне удалось остановить процесс рассылки в момент когда это произошло. Я перевел юзеров на файловый протокол (стоял СМТП) и установил опцию компрессии в 0. Запустил процесс до конца. Что в результате получилось: - некоторым юзерам было послано 5 сообщений по ~3 Мб (компрессия на 0) - некоторым 60 по ~15 Кб - некоторым 1300 по ~1 Кб Просмотрел содержимое файлов для тех кому было послано 1300 сообщений и обнаружил что в каждом сообщении было по одному SQL оператору INSERT or UPDATE. Операторы для всех ремоте-юзеров одинаковые. Я обращался в поддержку, но конкретно мне ничего не ответили. Одна из идей которую мне подсказали и которая похожа на правду - нехватка памяти для dbremote т.е. значение ключа -m. На сколько я понимаю - надо правильно установить комбинацию ключей -l и -m. Какие значения оптимальные или как их рассчитать? - никто ответ на этот вопрос дать пока не смог. Или дело в проектировании публикаций ... Выход (ИМХО) в следующем: - рассылку по юзерам разнести по времени. Но это не спасает, когда база долго не была запущена например более суток. Запуск агента вначале в режиме "только на отсылку" не помогает потому, что он может не для всех сгенерировать сообщение т.е. изменить значение поля Next_send. Проверено. Может кто знает как изменить значение поля Next_send вручную перед запуском агента ? Полностью согласен с PaulJB цитата... When all remote databases are receiving unique subsets of the operations being replicated, a separate message for each remote database is built up concurrently. Only one message is built for a group of remote users that are receiving the same operations. When the memory being used exceeds the -m value, messages are sent before reaching their maximum size (as specified by the -l switch). что и происходит...... Проблема Когда база долго не была запущена, пришло много сообщений Решение (ИМХО) 1. Увеличить значение ключа -m 2. Запустить 2 копии SQL Remote: 1. - с ключем -r (только получение) 2. - с ключем -s (только отправка) -sd 15s (опрос отправки каждые 15 секунд) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2004, 20:00 |
|
||
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
С -m понятно. Согласен. С двумя копиями dbremote - не согласен. Или ты имел в виду по очереди? Сначала -r, потом -s? Если по очереди тогда имеет смысл. Если вместе - будут конфликты. А с -sd15 не согласен совсем. Эти самые 15 секунд будут проходить не между отдельными посылками, а между началами сеанса связи. dbremote в один сеанс отправляет все накопившиеся изменения. Остановить его можно только вручную... И вообще ты уверен что у тебя каждые 15 секунд будет что отправлять? :) А когда много сообщений приходит (на например очередной филиал на ASA мигрировал), я просто торможу "нормальную" систему обмена. Запускаю dbremote -r -k -b и жду пока завершиться. Потом запускаю dbremote -s -k -b и опять жду. А потом уже запускаю dbremote в повседневной конфигурации. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.02.2004, 23:49 |
|
||
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
А какие конфликты? см. Running multiple Message Agents ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.02.2004, 11:42 |
|
||
|
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
|
|||
|---|---|---|---|
|
#18+
А по памяти? Первоначальная проблема то как я понял возникла из-за нехватки памяти для обработки всех посылок на консолидированной базе? А если мы запустим два реплицирующих процесса одновременно - мы получим сокращение доступной памяти вдвое. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.02.2004, 17:04 |
|
||
|
|

start [/forum/topic.php?fid=55&msg=32402294&tid=2014652]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
164ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
55ms |
get tp. blocked users: |
1ms |
| others: | 233ms |
| total: | 496ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...