|
Перенос данных из БД Redis. Мониторинг
|
|||
---|---|---|---|
#18+
Всем привет, у меня такая ситуация: нужно осуществить мониторинг данных из бд Redis (ключ-значение). В качестве графической оболочки использую Grafana. Но напрямую из Redis данные в него не выгрузить, как это можно сделать с другими бд, как например с тем же Postgresql. Так что я планирую сейчас переносить данные из Redis в Postgresql, а из него уже я без проблем смогу вытащить данные в Grafana. Нашёл на Github что-то похожее на перенос данных из Redis в Postgresql. https://github.com/pg-redis-fdw/redis_fdw Но при попытке создания extension (CREATE EXTENSION redis_fdw;) постгрес ругается на то что у меня отсутствует исполняемый файл redis_fdw.so в директории lib. И я без понятия, откуда его взять, на Github его не было. Как можно решить эту проблему? И если решу, то будут ли данные в Postgresql постоянно обновляться в соответствии с изменениями ключей и их значений в Redis? Или может быть, есть ещё какие-то варианты, кроме того, который я описал выше? ... |
|||
:
Нравится:
Не нравится:
|
|||
04.04.2018, 10:01 |
|
Перенос данных из БД Redis. Мониторинг
|
|||
---|---|---|---|
#18+
Lotrein46И я без понятия, откуда его взять, на Github его не было. Собрать руками, конечно. Секция Building Lotrein46будут ли данные в Postgresql постоянно обновляться в соответствии с изменениями ключей и их значений в Redis? Не будут. fdw это не репликация. fdw позволит делать запросы к postgresql как будто эти данные есть в postgresql, а сам postgresql будет через fdw дёргать соответствующую внешнюю систему. Напишите экспортер для необходимых метрик. Это должно быть несложно. Потому что если кастомные метрики в мониторинг добавляются сложно - то нафиг такой мониторинг вообще нужен. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.04.2018, 10:30 |
|
Перенос данных из БД Redis. Мониторинг
|
|||
---|---|---|---|
#18+
MelkijНе будут. fdw это не репликация. fdw позволит делать запросы к postgresql как будто эти данные есть в postgresql, а сам postgresql будет через fdw дёргать соответствующую внешнюю систему. Но ведь по факту же Графана тоже делает запрос к бд каждые n секунд (в моём случае 5, к примеру). Значит, по этой же логике Графана будет делать запросы к postgresql, а тот в свою очередь будет брать их из Redis? А значит выводиться будет только актуальная на данный момент информация. Если я всё правильно понимаю. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2018, 09:08 |
|
Перенос данных из БД Redis. Мониторинг
|
|||
---|---|---|---|
#18+
Lotrein46, Всё так. Но в то же самое время в postgresql данные обновляться не будут - их там вообще не будет никаких. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2018, 10:50 |
|
Перенос данных из БД Redis. Мониторинг
|
|||
---|---|---|---|
#18+
Melkij, Мне не столь принципиально, будут сами данные в postgresql или нет. Главное, чтобы я мог видеть их в Графане в реальном времени. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2018, 10:52 |
|
Перенос данных из БД Redis. Мониторинг
|
|||
---|---|---|---|
#18+
Хотя я уже подумываю как-нибудь с помощью Python извлечь данные. Из Redis их получается извлечь, остаётся понять, как их в тот же postgres перетаскивать. Потому как с помощью wrapper'а не выходит. Пишет вот такую ересь, когда я пытаюсь запустить makefile: #error wrong Postgresql version this branch is only for 11. Учитывая, что последняя версия постгреса - 10... Или я чего-то уже не понимаю. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2018, 10:56 |
|
Перенос данных из БД Redis. Мониторинг
|
|||
---|---|---|---|
#18+
Lotrein46, склонируйте репозиторий нужной вам версии. Вы взяли мастер ветку - сейчас она соотносится с postgresql 11. В ближайшее время pgdg сформируют ветку под релиз 11 версии и в мастере будет уже postgresql 12, следом за этим и redis_fdw сделают ветку. Я всё ещё не понимаю, зачем вам вообще postgresql. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2018, 11:07 |
|
Перенос данных из БД Redis. Мониторинг
|
|||
---|---|---|---|
#18+
MelkijЯ всё ещё не понимаю, зачем вам вообще postgresql. Потому как из Redis напрямую нет возможности промониторить данные в Grafana. А БД Postgresql у меня уже есть, и оттуда я уже без проблем выгружаю данные. Или есть ещё какие-то варианты, как я могу обойтись без postgresql? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.04.2018, 11:22 |
|
|
start [/forum/topic.php?fid=53&fpage=57&tid=1995852]: |
0ms |
get settings: |
11ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
26ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
42ms |
get tp. blocked users: |
1ms |
others: | 16ms |
total: | 127ms |
0 / 0 |