Всем привет!
Есть Spring boot приложение, задеплоенное на Heroku и использующее addon MongoDB. Так как это пэт-проект, то и addon используется по free тарифу, который не предусматривает backup. Проект ежедневно используется, и данные таки нужно хранить.

Есть мысли:
1) в приложение прикрутить шедулер, который будет бекапить данные несколько раз в день.
2) настроить cron на бекапинг.

Все это должно само крутиться и не использовать личные ресурсы.

Вопросы:
1) если делать через спринговый шедулер, то куда можно сохранять базу?
2) есть ли на heroku addonы позволяющие по cronу бэкапить? Если да, прошу дать советов куда смотреть.

Если есть другие решения, буду рад узнать о них.

Хотелось бы задействовать только силы heroku, без сторонней помощи. Повтыкаю еще в heroku cli, может там есть полезный функционал, правда сомневаюсь.
Если задействовать сторонние механизмы, то еще были мысли через амазоновскую виртуалку (aws) это сделать - установить клиента MongoDB и настроить cron на бекап прямо на жесткий диск той виртуалки. База там маленькая, но можно сразу делать бекап и архивировать. Единственное что смущает во всем этом деле - хранение бекапов в "труднодоступном месте". Больше бы радовало чтоб можно было скидывать бекап или архив сразу на гугл-драйв.
Gitlab посмотрю, не знаю что он умеет.

Спасибо! Взаимно!

Рассказываю :)
автор- если пэт проект, то причём тут архивирование, да ещё несколько раз в день? Бэкап это вопросы админства и к вопросам разработки отношения не имеют.

Да, это пэт проект, которым пользуется небольшое количество людей, и я в том числе. Информация добавляется в течение дня и сказывается на все данные внесенные ранее. В данном случае сам разработчик и сам админ.
Вопрос бэкапирования базы важен, потому что на бесплатной подписке база крутиться только в ОЗУ. За более полугода, правда, сервер ни разу не перегружался и стабильно работает. Но ведь может же все одним махом улететь в трубу.
автор- что значит где хранить бэкап? В соседней папке\диске\облаке
В Heroku я умею деплоить, настраивать переменные среды, пользоваться парочкой addon-ов. Об остальных возможностях я не знаю, и вот тут хотел поинтересоваться, может есть опыт и подсказали бы мне как можно решить задачу. Еще буду изучать возможности heroku, но сомневаюсь что там где-то можно установить клиент MongoDB, настроить крон, и складывать бекапы рядом. (Хмм пришли идеи, попробую кое-что).
автор- почему не спросить в ветке по БД как её бэкапить? Там вроде одна команда по запуску.
Не стоит вопрос "как бекапить?", вопрос - как реализовать бэкап с меньшими потерями и сторонними реализациями.
авторИли все эти проблемы от Heroku?
Heroku очень легок и удобен, думаю проблемным его назвать нельзя :)

Вот смотрите. Все базы бэкапят с помощью своих утилит.
Если зайти в ветку данной базы, то там тоже первый топик говорит чем бэкапить.
Но вам почему то нужны инструменты хост провайдера.
Я понимаю что есть всякие консоли разработчка и т.д.
У MS свои, у Oracle Cloud свои тысяча штук. У амазона свои.
Ну и зря. Имхо.
Есть и там возможность бекапить, но за деньги. Я ищу альтернативу.

Отлично, это так по sql.ru, налететь и рассказать какой автор плохой. Не будьте как быдло, человек спросил, видишь решение или его ошибку - подскажи. Не нужно сразу обсырать за то что автор якобы чего-то не делал, или банально не знает, или не видит решения.
И не нужно дофантазировать.
Проект бесплатен, денег с него никто не имеет. И сам проект никому не приносит денег.
Про бесплатный бекап раз в день, сейчас нет возможности проверить, но раньше (в середине лета этого года) этого или не было, или таки да не заметил.

Добрый надо быть, иначе п....z.

Там говорится о том что возможность есть, но стоит это 15$ в месяц.

Итого, пока мысль такая.
На aws создать виртуалку, там:
1) установить mongodb драйвера
2) установить google-drive-ocamlfuse
3) настроить крон на бекап сразу на гуглдиск.

Собственно выглядит так, просто, и вроде дело в шляпе.

1 бекап стоит 0.5$

Нет там возможности делать бекап силами хероку.

https://habr.com/ru/post/357764/
Жуткая история. У меня был простький случай с google, они удачно решили списать 14$ с карты, в тот момент когда на карте было меньше 1$. Но то я был сам виноват, пытаясь поднять прилодение с определенными нюансами, понавключал сервисов, в итоге не вышло и я забил на него. Им в почте сказал чтоб все поотключали, и что мне ничего не надо.

Только сейчас заметил.
Я не ругаюсь, я за добро :)
Именно этот аддон и использую. Но это уже и так ясно.

Все так.

PetroNotC Sharp,

Вот.

Может у тебя какие-то особые условия. Я когда запускал, в августе вроде, даже не помню как было, скорей всего где-то выбрал free,и использовал ec2 и s3.
Настроил, в крон добавл чтоб при старте системы все поднималось, запустил приложение и забыл, а оно вон работает. Правда не настаивал днс и всего такого. Цель была узнать новое и поиграться по на хероку закончились бесплатные Дино часы.

Сделал, как и рассказывал.


У тебя задача мелкая - инкрементальный бэкап только БД.
А тут монтирование ВСЕЙ файловой системы.

Буду рад услышать про более простые варианты.

Предполагаю, что за бесплатно это не получится, по крайней мере на хостинге B. По сути в этой схеме облако А и не нужно, так как крон чётко работает.

В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами.

Все эти операции где? На облаке А?
Ты выше весь весь тред создавал что в облаке А ничего не сделать так как платно.
Чернил не жалей. Напиши на 3 абзаца алгоритм действий с указанием двух систем А и Б. Где что делается.

Ок. Вот что получилось.
1. Heroku — облачная PaaS-платформа, на ней настроен деплой приложения, который срабатывает по коммиту на github. Полного доступа к системе нет, есть CLI, который очень ограничен.
2. mLab MongoDB с пакетом Sandbox - аддон для Heroku, который предоставляет базу MongoDB. Бекап за деньги.
3. AWS - коммерческое публичное облако. Здесь, на EC2 была поднята ubuntu 18.04. На ubuntu:
- установлен zip/unzip.
- установлен google-drive-ocamlfuse.
- установлены драйвера MongoDB.
- создан скрипт, который:
а) делает бекап базы
б) создает архив бекапа
в) подключает гуглдиск
г) копирует архив в специально созданную для него папку
д) отключает гуглдиск
е) удаляет бекап и архив
- в cron создано задание, которое запускает скрипт каждые 8 часов.

Абсолютно все бесплатно.

Изначально я пытался узнать тут, можно ли с помощью только heroku проделать все манипуляции, которые пришлось делать на aws. Почитал доки, но не увидел там такого решения.
Были мысли сделать еще интересней - через spring-овый шедулер делать бекап базы, складывать бекап рядом с приложением, зиповать, и копировать на гугдиск. Идея для развлечения мне очень понравилась, но как выяснилось, для mongodb не придумали java библиотек (или я не нашел) которые позволяют делать бекапы (для mysql есть такое). На этом идея была зарублена. Опять же, если бы можно было на heroku управлять линуксом в полной мере, было бы замечательно.

Продолжение истории.

Все чудесно работало... до тех пор, пока мой телефон не сообщил мне о неуспешном снятии денег с карты компанией AWS. Да-да, я сразу же вспомнил статью из хабра )) На этом месте я остановил все сервисы которые у меня работали, некоторые даже удалил. Ничего важно там не было.
Все оказалось не столь печально как в статье. Снять хотели примерно 25$. А я деньги не карте держать не люблю. Было около 10 писем выяснений "за что, когда все бесплатно?" (суммарно, туда и обратно), но в итоге нашелся косяк, в виде второго созданного экземпляра EC2. И как в назло, он был запущен. Видимо я когда игрался наиграл лишнего. С помощью саппорта AWS все удалил.
Ребята из саппорта просто молодчаги, с терпением, с детальными разъяснениями. На мой вопрос в 2 две строчки я получал письма на 50 строк.
Платеж таки отменили. И посоветовали заняться снова спустя месяц.

Времени катастрофически не было. Но мысли о бэкапе, время от времени посещали.
Гуглинг и пробы показали что таки обычный драйвер MongoDB вполне способен делать то что мне нужно - выгружать все коллекции в файлы в правильном формате (там есть нюансы). Это меня обрадовало, потому что дало пищу для чего-то нового и полезного. Пока обошелся обычным json. В перспективе вероятно сделаю на bson, одним глазом видел, но не вникал.



Итого - в приложение добавлен Sheduler, который выполняет:
1) коллекции выгружаются в директорию
2) архивирование этой директории в zip-архив
3) копирование архива на гуглдиск в его родную папку
4) удаление следов бекапа.

Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать...

тем что на Heroku нельзя устанавливать левые приложения.

Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения.

Ничего себе фантазер... Уже и типа советовали и даже зачем-то рест.
Какая нафиг гуглокарта если речь идёт о гуглодиске???

Точно, я такие странные варианты даже не рассматривал, и писал собственно почему.

Лишние движения.

Я все детально описывал несколько раз.

Вообще не удивительно.
Эта платформа работает так:
1) либо ты в браузере "создаешь" приложение, привязываешь его к github к нужной ветке, настраиваешь если надо переменные среды, подключаешь (через addon'ы) базы данных, и запускаешь деплой. Происходит компиляция, сборка и запуск приложения. Ты даже не видишь линукса и ссш.
2) ряд действий можно сделать через herocuвский CLI.


И я подозревал что ответы будут с учётом опыта работы с конкретно Heroku. Каждая PaaS, SaaS и др. система имеет свои нюансы. И тему соответственно назвал.