Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote) / 13 сообщений из 13, страница 1 из 1
09.02.2004, 10:54
    #32402294
roleks
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
Сабж


Письма все одинаковые, кол-во ~17000

например:
1-00033345545-0343545556 -0
1-00033345545-0343545556 -1
....
1-00033345545-0343545556 -17000



как с этим боротся?
...
Рейтинг: 0 / 0
09.02.2004, 12:21
    #32402456
roleks
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
ASA 8.0.2.4251
...
Рейтинг: 0 / 0
09.02.2004, 20:04
    #32403367
White Owl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
Вариант номер раз: Слишком частая посылка сообщений. База не успела измениться а уже опять позвали dbremote. В этом случае оно сформирует пустое сообщение означающее что мол "я живая, но измений с предущего запуска не было". Метод лечения - посмотреть процедуру запуска dbremote и запускать процесс посылки сообщений реже. (возможно ключ -sd если dbremote висит как сервис)

Варинат номер два: Установлено ограничение на размер сообщений. Слишком урезано то есть. Ключики -l и -g
...
Рейтинг: 0 / 0
10.02.2004, 13:01
    #32404058
roleks
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
Вариант номер раз: Слишком частая посылка сообщений. База не успела измениться а уже опять позвали dbremote. В этом случае оно сформирует пустое сообщение означающее что мол "я живая, но измений с предущего запуска не было". Метод лечения - посмотреть процедуру запуска dbremote и запускать процесс посылки сообщений реже. (возможно ключ -sd если dbremote висит как сервис)

А что значит база не успела изменится????
Если не было изменений в базе, то будет только 1 посылка маленькая


Варинат номер два: Установлено ограничение на размер сообщений. Слишком урезано то есть. Ключики -l и -g

Ключи выставлены
...
Рейтинг: 0 / 0
10.02.2004, 14:14
    #32404188
_Dog
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
Variant nomer 1 i mne prositsia...

-sd..

no ja vot dumaju verno li -sd=send every v opisanii repliki...

Mozet send every vystavlen = 1 minute? (V Sybase Central posmotret mozno)
...
Рейтинг: 0 / 0
10.02.2004, 17:56
    #32404664
White Owl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
> А что значит база не успела изменится????
То и значит. Не было ни одной закрытой транзакции с предыдущего сеанса отсылки сообщений.

> Если не было изменений в базе, то будет только 1 посылка маленькая
Все верно. Одна посылка в 85 байт. На каждый сеанс обмена сообщениями.
...
Рейтинг: 0 / 0
11.02.2004, 11:59
    #32405336
roleks
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
Полностью согласен


оно так должно работать и работает.....в большинстве случаев


но бывает,что таких вот маленьких писем валится огромное количество за раз


притом т.к.

1-454654545-34343434-0
...
1-454654545-34343434-10000

то это значит что это 1 сообщение, но разбито на много посылок нор посылки то маленькие ну очень...85 байт как было сказано, а ключики выставлены на намного больший максимальный размер сообщения


создается впечатление, что эт глю Sybase
...
Рейтинг: 0 / 0
11.02.2004, 17:21
    #32406105
White Owl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
Ну я ж с самого начала сказал - слишком частая посылка сообщений.
Посмотри когда было создано первое сообщение, и с какой частотой они создавались. Посмотри даты модификации файлов в конце концов! Спроси оператора отвечающего за эту базу - когда она вносила последние изменения.
А увеличение циферки которая через тире рисуется не всегда означает что это вторая, третья, сотая часть сообщения. В данном случае это уже сотое сообщение от базы в которой лог файл не изменился.
...
Рейтинг: 0 / 0
12.02.2004, 17:03
    #32407489
PaulJB
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
НЕ для roleks-a. Мы с ним про это говорили.

Немного проясню ситуацию.
У меня вскакивала эта проблема.
Происходит сие чудо в момент, когда консолидированной базе надо разослать большие обьемы одновременно каждому удаленному юзеру и юзеров этих много.
Мне удалось остановить процесс рассылки в момент когда это произошло.
Я перевел юзеров на файловый протокол (стоял СМТП) и установил опцию компрессии в 0. Запустил процесс до конца.
Что в результате получилось:
- некоторым юзерам было послано 5 сообщений по ~3 Мб (компрессия на 0)
- некоторым 60 по ~15 Кб
- некоторым 1300 по ~1 Кб

Просмотрел содержимое файлов для тех кому было послано 1300 сообщений и обнаружил что в каждом сообщении было по одному SQL оператору INSERT or UPDATE. Операторы для всех ремоте-юзеров одинаковые.

Я обращался в поддержку, но конкретно мне ничего не ответили.
Одна из идей которую мне подсказали и которая похожа на правду - нехватка памяти для dbremote т.е. значение ключа -m.
На сколько я понимаю - надо правильно установить комбинацию ключей -l и -m. Какие значения оптимальные или как их рассчитать? - никто ответ на этот вопрос дать пока не смог. Или дело в проектировании публикаций ...

Выход (ИМХО) в следующем:
- рассылку по юзерам разнести по времени.
Но это не спасает, когда база долго не была запущена например более суток.
Запуск агента вначале в режиме "только на отсылку" не помогает потому, что он может не для всех сгенерировать сообщение т.е. изменить значение поля Next_send. Проверено.
Может кто знает как изменить значение поля Next_send вручную перед запуском агента ?
...
Рейтинг: 0 / 0
12.02.2004, 20:00
    #32407760
roleks
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
НЕ для roleks-a. Мы с ним про это говорили.

Немного проясню ситуацию.
У меня вскакивала эта проблема.
Происходит сие чудо в момент, когда консолидированной базе надо разослать большие обьемы одновременно каждому удаленному юзеру и юзеров этих много.
Мне удалось остановить процесс рассылки в момент когда это произошло.
Я перевел юзеров на файловый протокол (стоял СМТП) и установил опцию компрессии в 0. Запустил процесс до конца.
Что в результате получилось:
- некоторым юзерам было послано 5 сообщений по ~3 Мб (компрессия на 0)
- некоторым 60 по ~15 Кб
- некоторым 1300 по ~1 Кб

Просмотрел содержимое файлов для тех кому было послано 1300 сообщений и обнаружил что в каждом сообщении было по одному SQL оператору INSERT or UPDATE. Операторы для всех ремоте-юзеров одинаковые.

Я обращался в поддержку, но конкретно мне ничего не ответили.
Одна из идей которую мне подсказали и которая похожа на правду - нехватка памяти для dbremote т.е. значение ключа -m.
На сколько я понимаю - надо правильно установить комбинацию ключей -l и -m. Какие значения оптимальные или как их рассчитать? - никто ответ на этот вопрос дать пока не смог. Или дело в проектировании публикаций ...

Выход (ИМХО) в следующем:
- рассылку по юзерам разнести по времени.
Но это не спасает, когда база долго не была запущена например более суток.
Запуск агента вначале в режиме "только на отсылку" не помогает потому, что он может не для всех сгенерировать сообщение т.е. изменить значение поля Next_send. Проверено.
Может кто знает как изменить значение поля Next_send вручную перед запуском агента ?


Полностью согласен с PaulJB

цитата...
When all remote databases are receiving unique subsets of the operations being replicated, a separate message for each remote database is built up concurrently. Only one message is built for a group of remote users that are receiving the same operations. When the memory being used exceeds the -m value, messages are sent before reaching their maximum size (as specified by the -l switch).

что и происходит......

Проблема
Когда база долго не была запущена, пришло много сообщений

Решение (ИМХО)

1. Увеличить значение ключа -m
2. Запустить 2 копии SQL Remote:
1. - с ключем -r (только получение)
2. - с ключем -s (только отправка) -sd 15s (опрос отправки каждые 15 секунд)
...
Рейтинг: 0 / 0
12.02.2004, 23:49
    #32407885
White Owl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
С -m понятно. Согласен.
С двумя копиями dbremote - не согласен. Или ты имел в виду по очереди? Сначала -r, потом -s? Если по очереди тогда имеет смысл. Если вместе - будут конфликты.

А с -sd15 не согласен совсем. Эти самые 15 секунд будут проходить не между отдельными посылками, а между началами сеанса связи. dbremote в один сеанс отправляет все накопившиеся изменения. Остановить его можно только вручную... И вообще ты уверен что у тебя каждые 15 секунд будет что отправлять? :)

А когда много сообщений приходит (на например очередной филиал на ASA мигрировал), я просто торможу "нормальную" систему обмена. Запускаю dbremote -r -k -b и жду пока завершиться. Потом запускаю dbremote -s -k -b и опять жду. А потом уже запускаю dbremote в повседневной конфигурации.
...
Рейтинг: 0 / 0
13.02.2004, 11:42
    #32408325
roleks
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
А какие конфликты?

см. Running multiple Message Agents
...
Рейтинг: 0 / 0
13.02.2004, 17:04
    #32409114
White Owl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote)
А по памяти?
Первоначальная проблема то как я понял возникла из-за нехватки памяти для обработки всех посылок на консолидированной базе? А если мы запустим два реплицирующих процесса одновременно - мы получим сокращение доступной памяти вдвое.
...
Рейтинг: 0 / 0
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Рассылка Очень большого количества маленьких одинаковых писем (репликация SQL Remote) / 13 сообщений из 13, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]