Гость
Войти | Профиль | Очистить
Действия ...
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / ошибка репликации londiste / 14 сообщений из 14, страница 1 из 1
12.12.2021, 18:18
    #40119448
duffy82
duffy82
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
Установлен пакет skytools-3.1.5 на CentOS7.
Имеется таблица
Код: plsql
1.
CREATE TABLE users3(id SERIAL PRIMARY KEY, name TEXT, lastname TEXT)


Настроена репликация этой таблицы:
table_name merge_state table_attrs
--------------- --------------- ---------------
public.users3 in-copy

Может кто-нибудь предположить причину ошибок в логах?: tail -f /var/log/skytools/slave.log:
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
2021-12-12 20:03:29,408 3143 INFO {count: 0, duration: 0.0088}
2021-12-12 20:03:36,500 3143 INFO {count: 1, duration: 0.0088, idle: 119.4168}
2021-12-12 20:03:41,465 3357 INFO Starting full copy of public.users3
2021-12-12 20:03:41,486 3357 ERROR Job appqueue crashed: 'increment_by'
Traceback (most recent call last):
  File "/opt/skytools/skytools-3.1.5/python/skytools/scripting.py", line 568, in run_func_safely
    return func()
  File "/opt/skytools/skytools-3.1.5/python/londiste/table_copy.py", line 229, in work
    return Replicator.work(self)
  File "/opt/skytools/skytools-3.1.5/python/pgq/cascade/consumer.py", line 199, in work
    return BaseConsumer.work(self)
  File "/opt/skytools/skytools-3.1.5/python/pgq/baseconsumer.py", line 257, in work
    self._launch_process_batch(db, batch_id, ev_list)
  File "/opt/skytools/skytools-3.1.5/python/pgq/baseconsumer.py", line 286, in _launch_process_batch
    self.process_batch(db, batch_id, list)
  File "/opt/skytools/skytools-3.1.5/python/pgq/cascade/consumer.py", line 172, in process_batch
    self.process_remote_batch(src_db, tick_id, event_list, dst_db)
  File "/opt/skytools/skytools-3.1.5/python/londiste/playback.py", line 377, in process_remote_batch
    self.sync_tables(src_db, dst_db)
  File "/opt/skytools/skytools-3.1.5/python/londiste/playback.py", line 433, in sync_tables
    res = self.sync_from_copy_thread(cnt, src_db, dst_db)
  File "/opt/skytools/skytools-3.1.5/python/londiste/playback.py", line 585, in sync_from_copy_thread
    self.do_copy(t, src_db, dst_db)
  File "/opt/skytools/skytools-3.1.5/python/londiste/table_copy.py", line 118, in do_copy
    src_struct = TableStruct(src_curs, src_real_table)
  File "/opt/skytools/skytools-3.1.5/python/skytools/dbstruct.py", line 642, in __init__
    self.seq_list += self._load_elem(curs, col.seqname, seq_args, TSeq)
  File "/opt/skytools/skytools-3.1.5/python/skytools/dbstruct.py", line 556, in _load_elem
    elem_list.append(eclass(name, row))
  File "/opt/skytools/skytools-3.1.5/python/skytools/dbstruct.py", line 491, in __init__
    if row['increment_by'] != 1:
  File "/usr/lib64/python2.7/site-packages/psycopg2/extras.py", line 171, in __getitem__
    x = self._index[x]
KeyError: 'increment_by'
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.12.2021, 18:23
    #40119449
Maxim Boguk
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
duffy82,

Спецов по londiste очень мало осталось (это умерший проект).
я бы рекомендовал попробовать slony вместо londiste если у вас система не позволяет logical replication воспользоваться.

PS: ошибка странная очень и глубоко в потрохах питона.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.12.2021, 18:30
    #40119450
duffy82
duffy82
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
Maxim Boguk, спасибо за ответ, это печально :(
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.12.2021, 21:00
    #40119495
Maxim Boguk
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
duffy82
Maxim Boguk, спасибо за ответ, это печально :(


А какая версия лондиста у вас стоит (не скайтулзов а именно лондиста)?


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.12.2021, 19:24
    #40120036
duffy82
duffy82
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
Maxim Boguk,

londiste3
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.12.2021, 19:47
    #40120045
Maxim Boguk
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
duffy82
Maxim Boguk,

londiste3


Это не очень информативно... интересна полная версия.


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.12.2021, 19:56
    #40120047
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
Если оно действительно на python2.7, то какая вообще речь может идти о его использовании?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.12.2021, 20:41
    #40120057
Maxim Boguk
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
mefman
Если оно действительно на python2.7, то какая вообще речь может идти о его использовании?


Я потому и интересуюсь версией londiste так как все хоть сколько то свежие версии они на 3тьем питоне.
И мне интересно откуда такую археологию вытащили (а так же как и зачем).

Если точнее проект был без коммитов с 2014 по 2019 год (и я считал его мёртвым) но в конце 2019 года его реанимировал автор и активно пилит (и все версии 2019+ года они на 3тьм питоне)

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.12.2021, 21:57
    #40120076
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
Maxim Boguk,
Судья по трейсам, версия 2.7.
Хотя возможен вариант, что люди используют, что есть как есть, не зная разницу между 2м и 3м.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.12.2021, 23:55
    #40120116
Maxim Boguk
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
mefman
Maxim Boguk,
Судья по трейсам, версия 2.7.
Хотя возможен вариант, что люди используют, что есть как есть, не зная разницу между 2м и 3м.


почитал внимательнее... там skytools-3.1.5
последняя где skytools были вместе с londiste в одном пакете... дата релиза 9 Aug 2013
не удивительно что оно не работает нормально.

Автору надо поставить 3.9.1 И 3тий питон
(ну или не изгаляться и использовать физическую репликацию или логическую репликацию или slony на крайний случай).

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.12.2021, 19:53
    #40120397
duffy82
duffy82
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
Maxim Boguk,

C третьим питоном ставил третий скайтулз, возникли проблемы при компиляции, буду пробовать еще, спасибо
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.12.2021, 22:39
    #40120431
Maxim Boguk
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
duffy82
Maxim Boguk,

C третьим питоном ставил третий скайтулз, возникли проблемы при компиляции, буду пробовать еще, спасибо


londiste был выведен из состава skytools 6 или 7 лет назад...
вам надо его независимо ставить

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
16.12.2021, 12:52
    #40120581
duffy82
duffy82
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
Maxim Boguk,

не подскажете как его ставить, не могу найти, вот он есть на гитхабе https://github.com/pgq/londiste-sql/releases
распакованный в директории он выглядит так:
Код: python
1.
docs  expected  functions  londiste.control  Makefile  mk  README.rst  sql  structure
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
16.12.2021, 13:33
    #40120601
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ошибка репликации londiste
duffy82
Maxim Boguk,

не подскажете как его ставить, не могу найти, вот он есть на гитхабе https://github.com/pgq/londiste-sql/releases
распакованный в директории он выглядит так:
Код: python
1.
docs  expected  functions  londiste.control  Makefile  mk  README.rst  sql  structure


мыши кололись, плакали, но продолжали кушать кактусы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / ошибка репликации londiste / 14 сообщений из 14, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 132ms
Закрыть
start [/forum/topic.php?fid=53&mobile=1&tid=1993748]:
 0ms
get settings:
 10ms
get forum list:
 12ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 26ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 50ms
get tp. blocked users:
 1ms
others: 12ms
total:  132ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]