powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Перенос данных из БД Redis. Мониторинг
8 сообщений из 8, страница 1 из 1
Перенос данных из БД Redis. Мониторинг
    #39625360
Lotrein46
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет, у меня такая ситуация: нужно осуществить мониторинг данных из бд Redis (ключ-значение). В качестве графической оболочки использую Grafana. Но напрямую из Redis данные в него не выгрузить, как это можно сделать с другими бд, как например с тем же Postgresql. Так что я планирую сейчас переносить данные из Redis в Postgresql, а из него уже я без проблем смогу вытащить данные в Grafana.

Нашёл на Github что-то похожее на перенос данных из Redis в Postgresql.
https://github.com/pg-redis-fdw/redis_fdw
Но при попытке создания extension (CREATE EXTENSION redis_fdw;) постгрес ругается на то что у меня отсутствует исполняемый файл redis_fdw.so в директории lib. И я без понятия, откуда его взять, на Github его не было.

Как можно решить эту проблему? И если решу, то будут ли данные в Postgresql постоянно обновляться в соответствии с изменениями ключей и их значений в Redis?
Или может быть, есть ещё какие-то варианты, кроме того, который я описал выше?
...
Рейтинг: 0 / 0
Перенос данных из БД Redis. Мониторинг
    #39625379
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Lotrein46И я без понятия, откуда его взять, на Github его не было.
Собрать руками, конечно. Секция Building

Lotrein46будут ли данные в Postgresql постоянно обновляться в соответствии с изменениями ключей и их значений в Redis?
Не будут.
fdw это не репликация. fdw позволит делать запросы к postgresql как будто эти данные есть в postgresql, а сам postgresql будет через fdw дёргать соответствующую внешнюю систему.

Напишите экспортер для необходимых метрик. Это должно быть несложно. Потому что если кастомные метрики в мониторинг добавляются сложно - то нафиг такой мониторинг вообще нужен.
...
Рейтинг: 0 / 0
Перенос данных из БД Redis. Мониторинг
    #39625875
Lotrein46
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
MelkijНе будут.
fdw это не репликация. fdw позволит делать запросы к postgresql как будто эти данные есть в postgresql, а сам postgresql будет через fdw дёргать соответствующую внешнюю систему.

Но ведь по факту же Графана тоже делает запрос к бд каждые n секунд (в моём случае 5, к примеру). Значит, по этой же логике Графана будет делать запросы к postgresql, а тот в свою очередь будет брать их из Redis? А значит выводиться будет только актуальная на данный момент информация. Если я всё правильно понимаю.
...
Рейтинг: 0 / 0
Перенос данных из БД Redis. Мониторинг
    #39625945
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Lotrein46,

Всё так.
Но в то же самое время в postgresql данные обновляться не будут - их там вообще не будет никаких.
...
Рейтинг: 0 / 0
Перенос данных из БД Redis. Мониторинг
    #39625946
Lotrein46
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Melkij,

Мне не столь принципиально, будут сами данные в postgresql или нет. Главное, чтобы я мог видеть их в Графане в реальном времени.
...
Рейтинг: 0 / 0
Перенос данных из БД Redis. Мониторинг
    #39625949
Lotrein46
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Хотя я уже подумываю как-нибудь с помощью Python извлечь данные. Из Redis их получается извлечь, остаётся понять, как их в тот же postgres перетаскивать. Потому как с помощью wrapper'а не выходит. Пишет вот такую ересь, когда я пытаюсь запустить makefile:
#error wrong Postgresql version this branch is only for 11.
Учитывая, что последняя версия постгреса - 10... Или я чего-то уже не понимаю.
...
Рейтинг: 0 / 0
Перенос данных из БД Redis. Мониторинг
    #39625962
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Lotrein46,

склонируйте репозиторий нужной вам версии.
Вы взяли мастер ветку - сейчас она соотносится с postgresql 11. В ближайшее время pgdg сформируют ветку под релиз 11 версии и в мастере будет уже postgresql 12, следом за этим и redis_fdw сделают ветку.

Я всё ещё не понимаю, зачем вам вообще postgresql.
...
Рейтинг: 0 / 0
Перенос данных из БД Redis. Мониторинг
    #39625980
Lotrein46
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
MelkijЯ всё ещё не понимаю, зачем вам вообще postgresql.

Потому как из Redis напрямую нет возможности промониторить данные в Grafana. А БД Postgresql у меня уже есть, и оттуда я уже без проблем выгружаю данные.
Или есть ещё какие-то варианты, как я могу обойтись без postgresql?
...
Рейтинг: 0 / 0
8 сообщений из 8, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Перенос данных из БД Redis. Мониторинг
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]