ReSQL.ru
     
powered by simpleCommunicator - 2.0.40     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / ошибка репликации londiste
14 сообщений из 14, страница 1 из 1
ошибка репликации londiste
    #40119448
duffy82
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
duffy82
Гость
Установлен пакет skytools-3.1.5 на CentOS7.
Имеется таблица
Код: plsql
1.
CREATE TABLE users3(id SERIAL PRIMARY KEY, name TEXT, lastname TEXT)


Настроена репликация этой таблицы:
table_name merge_state table_attrs
--------------- --------------- ---------------
public.users3 in-copy

Может кто-нибудь предположить причину ошибок в логах?: tail -f /var/log/skytools/slave.log:
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
2021-12-12 20:03:29,408 3143 INFO {count: 0, duration: 0.0088}
2021-12-12 20:03:36,500 3143 INFO {count: 1, duration: 0.0088, idle: 119.4168}
2021-12-12 20:03:41,465 3357 INFO Starting full copy of public.users3
2021-12-12 20:03:41,486 3357 ERROR Job appqueue crashed: 'increment_by'
Traceback (most recent call last):
  File "/opt/skytools/skytools-3.1.5/python/skytools/scripting.py", line 568, in run_func_safely
    return func()
  File "/opt/skytools/skytools-3.1.5/python/londiste/table_copy.py", line 229, in work
    return Replicator.work(self)
  File "/opt/skytools/skytools-3.1.5/python/pgq/cascade/consumer.py", line 199, in work
    return BaseConsumer.work(self)
  File "/opt/skytools/skytools-3.1.5/python/pgq/baseconsumer.py", line 257, in work
    self._launch_process_batch(db, batch_id, ev_list)
  File "/opt/skytools/skytools-3.1.5/python/pgq/baseconsumer.py", line 286, in _launch_process_batch
    self.process_batch(db, batch_id, list)
  File "/opt/skytools/skytools-3.1.5/python/pgq/cascade/consumer.py", line 172, in process_batch
    self.process_remote_batch(src_db, tick_id, event_list, dst_db)
  File "/opt/skytools/skytools-3.1.5/python/londiste/playback.py", line 377, in process_remote_batch
    self.sync_tables(src_db, dst_db)
  File "/opt/skytools/skytools-3.1.5/python/londiste/playback.py", line 433, in sync_tables
    res = self.sync_from_copy_thread(cnt, src_db, dst_db)
  File "/opt/skytools/skytools-3.1.5/python/londiste/playback.py", line 585, in sync_from_copy_thread
    self.do_copy(t, src_db, dst_db)
  File "/opt/skytools/skytools-3.1.5/python/londiste/table_copy.py", line 118, in do_copy
    src_struct = TableStruct(src_curs, src_real_table)
  File "/opt/skytools/skytools-3.1.5/python/skytools/dbstruct.py", line 642, in __init__
    self.seq_list += self._load_elem(curs, col.seqname, seq_args, TSeq)
  File "/opt/skytools/skytools-3.1.5/python/skytools/dbstruct.py", line 556, in _load_elem
    elem_list.append(eclass(name, row))
  File "/opt/skytools/skytools-3.1.5/python/skytools/dbstruct.py", line 491, in __init__
    if row['increment_by'] != 1:
  File "/usr/lib64/python2.7/site-packages/psycopg2/extras.py", line 171, in __getitem__
    x = self._index[x]
KeyError: 'increment_by'
...
Рейтинг: 0 / 0
12.12.2021, 18:18
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40119449
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
duffy82,

Спецов по londiste очень мало осталось (это умерший проект).
я бы рекомендовал попробовать slony вместо londiste если у вас система не позволяет logical replication воспользоваться.

PS: ошибка странная очень и глубоко в потрохах питона.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
12.12.2021, 18:23
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40119450
duffy82
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
duffy82
Гость
Maxim Boguk, спасибо за ответ, это печально :(
...
Рейтинг: 0 / 0
12.12.2021, 18:30
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40119495
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
duffy82
Maxim Boguk, спасибо за ответ, это печально :(


А какая версия лондиста у вас стоит (не скайтулзов а именно лондиста)?


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
12.12.2021, 21:00
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40120036
duffy82
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
duffy82
Гость
Maxim Boguk,

londiste3
...
Рейтинг: 0 / 0
14.12.2021, 19:24
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40120045
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
duffy82
Maxim Boguk,

londiste3


Это не очень информативно... интересна полная версия.


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
14.12.2021, 19:47
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40120047
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Если оно действительно на python2.7, то какая вообще речь может идти о его использовании?
...
Рейтинг: 0 / 0
14.12.2021, 19:56
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40120057
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
mefman
Если оно действительно на python2.7, то какая вообще речь может идти о его использовании?


Я потому и интересуюсь версией londiste так как все хоть сколько то свежие версии они на 3тьем питоне.
И мне интересно откуда такую археологию вытащили (а так же как и зачем).

Если точнее проект был без коммитов с 2014 по 2019 год (и я считал его мёртвым) но в конце 2019 года его реанимировал автор и активно пилит (и все версии 2019+ года они на 3тьм питоне)

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
14.12.2021, 20:41
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40120076
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Maxim Boguk,
Судья по трейсам, версия 2.7.
Хотя возможен вариант, что люди используют, что есть как есть, не зная разницу между 2м и 3м.
...
Рейтинг: 0 / 0
14.12.2021, 21:57
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40120116
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
mefman
Maxim Boguk,
Судья по трейсам, версия 2.7.
Хотя возможен вариант, что люди используют, что есть как есть, не зная разницу между 2м и 3м.


почитал внимательнее... там skytools-3.1.5
последняя где skytools были вместе с londiste в одном пакете... дата релиза 9 Aug 2013
не удивительно что оно не работает нормально.

Автору надо поставить 3.9.1 И 3тий питон
(ну или не изгаляться и использовать физическую репликацию или логическую репликацию или slony на крайний случай).

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
14.12.2021, 23:55
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40120397
duffy82
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
duffy82
Гость
Maxim Boguk,

C третьим питоном ставил третий скайтулз, возникли проблемы при компиляции, буду пробовать еще, спасибо
...
Рейтинг: 0 / 0
15.12.2021, 19:53
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40120431
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
duffy82
Maxim Boguk,

C третьим питоном ставил третий скайтулз, возникли проблемы при компиляции, буду пробовать еще, спасибо


londiste был выведен из состава skytools 6 или 7 лет назад...
вам надо его независимо ставить

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
15.12.2021, 22:39
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40120581
duffy82
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
duffy82
Гость
Maxim Boguk,

не подскажете как его ставить, не могу найти, вот он есть на гитхабе https://github.com/pgq/londiste-sql/releases
распакованный в директории он выглядит так:
Код: python
1.
docs  expected  functions  londiste.control  Makefile  mk  README.rst  sql  structure
...
Рейтинг: 0 / 0
16.12.2021, 12:52
| Ответить | Цитировать | Написать  
ошибка репликации londiste
    #40120601
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
duffy82
Maxim Boguk,

не подскажете как его ставить, не могу найти, вот он есть на гитхабе https://github.com/pgq/londiste-sql/releases
распакованный в директории он выглядит так:
Код: python
1.
docs  expected  functions  londiste.control  Makefile  mk  README.rst  sql  structure


мыши кололись, плакали, но продолжали кушать кактусы.
...
Рейтинг: 0 / 0
16.12.2021, 13:33
| Ответить | Цитировать | Написать  
14 сообщений из 14, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / ошибка репликации londiste
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&msg=40120601&tid=1993748]:
 0ms
get settings:
 11ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 30ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 50ms
get tp. blocked users:
 1ms
others: 13ms
total:  139ms
созд. / загр.: 139ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]