powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / Heroku+MongoDB, нужен автоматический бэкап
25 сообщений из 73, страница 2 из 3
Heroku+MongoDB, нужен автоматический бэкап
    #39910022
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Я изучая EMR за 6 дней держал поднятым кластер. Ничего 6ля так и не сделал. Но счет на 30$ я получил.
Хорошо хоть чисто случайно на биллинг глянул. Многие вещи - неочевидны.

Странно как-то

Там же настройка на амазоне есть. Лимит трат в месяц. Мне даже при __бесплатном__ сервере, уведомление на почту приходили ))) Вы потратили 8 из 10 $ бесплатных.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910024
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да нет. У меня уже давно платный аккаут. Но пока основные расходы это S3.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910028
Imperous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gycb
Imperous,не ругайся,скоро Новый Год ,а ты такой злой.На тебя никто не налетал если что
вот адон - на фри тарифе дейли бекап ,можно и кастомы делать
https://elements.heroku.com/addons/mongolab

Только сейчас заметил.
Я не ругаюсь, я за добро :)
Именно этот аддон и использую. Но это уже и так ясно.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910030
Imperous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Imperous,
Виртуалка бесплатная? С осью линукс?

Все так.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910080
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Я изучая EMR за 6 дней держал поднятым кластер. Ничего 6ля так и не сделал. Но счет на 30$ я получил.
Хорошо хоть чисто случайно на биллинг глянул. Многие вещи - неочевидны.

А я буквально полгода назад понадеялся на скрипт от индусов по шатдауну емр... Запустил и не проверил. За выходные 3 штуки накапало. Хорошо что заказчику это капля в море, но осадок остался..
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910146
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Imperous
PetroNotC Sharp
Imperous,
Виртуалка бесплатная? С осью линукс?

Все так.

Ссылку дай.
Я за свой хостинг плачу. За рубежом это 1500 в месяц. В РФ это 500 в месяц.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910239
Imperous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp,

Вот.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910241
Imperous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Imperous
пропущено...

Все так.

Ссылку дай.
Я за свой хостинг плачу. За рубежом это 1500 в месяц. В РФ это 500 в месяц.

Может у тебя какие-то особые условия. Я когда запускал, в августе вроде, даже не помню как было, скорей всего где-то выбрал free,и использовал ec2 и s3.
Настроил, в крон добавл чтоб при старте системы все поднималось, запустил приложение и забыл, а оно вон работает. Правда не настаивал днс и всего такого. Цель была узнать новое и поиграться по на хероку закончились бесплатные Дино часы.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910242
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Отгремят Новогодние... я ветку подниму по оптимизации S3.

Мы там уже в технологический потолок упёрлись. То что амазон предлагает по оптимизации -
мы всё применили. Но ожидаемой скорости реквестов в секунду не достигаем.
Ни по бакету. Ни по префиксу. На приложении - сложно тестировать. Оно просто
очень сложно в своей логике и мультипоточке. Будем скорее всего просто собирать
макет и смотреть на нём.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910245
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Imperous
Может у тебя какие-то особые условия.

У меня не амазон, а свой хостинг с полностью рутовой осью линукс.
Поэтому счел странной твою цель выше примонтировать
автор2) установить google-drive-ocamlfuse
У тебя задача мелкая - инкрементальный бэкап только БД.
А тут монтирование ВСЕЙ файловой системы.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910609
Imperous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сделал, как и рассказывал.

PetroNotC Sharp
Imperous
Может у тебя какие-то особые условия.

У меня не амазон, а свой хостинг с полностью рутовой осью линукс.
Поэтому счел странной твою цель выше примонтировать
автор2) установить google-drive-ocamlfuse

У тебя задача мелкая - инкрементальный бэкап только БД.
А тут монтирование ВСЕЙ файловой системы.

Буду рад услышать про более простые варианты.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910628
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Imperous
Буду рад услышать про более простые варианты.

Например:
- в облаке А вывесить админское API для архивирования. REST\TCP\FTP
- на хостинге B с линуксом написать прогу или скрипт который будет через это API архивировать периодически.
Безопасность лучше, так как всё свое и не надо присоединять файловые системы.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910695
Imperous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Imperous
Буду рад услышать про более простые варианты.

Например:
- в облаке А вывесить админское API для архивирования. REST\TCP\FTP
- на хостинге B с линуксом написать прогу или скрипт который будет через это API архивировать периодически.
Безопасность лучше, так как всё свое и не надо присоединять файловые системы.


Предполагаю, что за бесплатно это не получится, по крайней мере на хостинге B. По сути в этой схеме облако А и не нужно, так как крон чётко работает.

В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910697
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТС, бесплатно не получится это как?
Что означает?
Учитывая что мы на ветке программистов)))) LOL
Может трудоёмко?
Тоже непонятно. У меня сейчас хостинг с линуксом. Я там в томкате или jar пишу
File file = твоеОблако.getBackup()
Трудоемко?
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910698
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Imperous В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами.
Все эти операции где? На облаке А?
Ты выше весь весь тред создавал что в облаке А ничего не сделать так как платно.
Чернил не жалей. Напиши на 3 абзаца алгоритм действий с указанием двух систем А и Б. Где что делается.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39910757
Imperous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Imperous В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами.

Все эти операции где? На облаке А?
Ты выше весь весь тред создавал что в облаке А ничего не сделать так как платно.
Чернил не жалей. Напиши на 3 абзаца алгоритм действий с указанием двух систем А и Б. Где что делается.

Ок. Вот что получилось.
1. Heroku — облачная PaaS-платформа, на ней настроен деплой приложения, который срабатывает по коммиту на github. Полного доступа к системе нет, есть CLI, который очень ограничен.
2. mLab MongoDB с пакетом Sandbox - аддон для Heroku, который предоставляет базу MongoDB. Бекап за деньги.
3. AWS - коммерческое публичное облако. Здесь, на EC2 была поднята ubuntu 18.04. На ubuntu:
- установлен zip/unzip.
- установлен google-drive-ocamlfuse.
- установлены драйвера MongoDB.
- создан скрипт, который:
а) делает бекап базы
б) создает архив бекапа
в) подключает гуглдиск
г) копирует архив в специально созданную для него папку
д) отключает гуглдиск
е) удаляет бекап и архив
- в cron создано задание, которое запускает скрипт каждые 8 часов.

Абсолютно все бесплатно.

Изначально я пытался узнать тут, можно ли с помощью только heroku проделать все манипуляции, которые пришлось делать на aws. Почитал доки, но не увидел там такого решения.
Были мысли сделать еще интересней - через spring-овый шедулер делать бекап базы, складывать бекап рядом с приложением, зиповать, и копировать на гугдиск. Идея для развлечения мне очень понравилась, но как выяснилось, для mongodb не придумали java библиотек (или я не нашел) которые позволяют делать бекапы (для mysql есть такое). На этом идея была зарублена. Опять же, если бы можно было на heroku управлять линуксом в полной мере, было бы замечательно.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39927153
Imperous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Продолжение истории.

Все чудесно работало... до тех пор, пока мой телефон не сообщил мне о неуспешном снятии денег с карты компанией AWS. Да-да, я сразу же вспомнил статью из хабра )) На этом месте я остановил все сервисы которые у меня работали, некоторые даже удалил. Ничего важно там не было.
Все оказалось не столь печально как в статье. Снять хотели примерно 25$. А я деньги не карте держать не люблю. Было около 10 писем выяснений "за что, когда все бесплатно?" (суммарно, туда и обратно), но в итоге нашелся косяк, в виде второго созданного экземпляра EC2. И как в назло, он был запущен. Видимо я когда игрался наиграл лишнего. С помощью саппорта AWS все удалил.
Ребята из саппорта просто молодчаги, с терпением, с детальными разъяснениями. На мой вопрос в 2 две строчки я получал письма на 50 строк.
Платеж таки отменили. И посоветовали заняться снова спустя месяц.

Времени катастрофически не было. Но мысли о бэкапе, время от времени посещали.
Гуглинг и пробы показали что таки обычный драйвер MongoDB вполне способен делать то что мне нужно - выгружать все коллекции в файлы в правильном формате (там есть нюансы). Это меня обрадовало, потому что дало пищу для чего-то нового и полезного. Пока обошелся обычным json. В перспективе вероятно сделаю на bson, одним глазом видел, но не вникал.
Код: xml
1.
2.
3.
4.
5.
<dependency>
  <groupId>org.mongodb</groupId>
  <artifactId>mongo-java-driver</artifactId>
  <version>3.12.1</version>
</dependency>



Итого - в приложение добавлен Sheduler, который выполняет:
1) коллекции выгружаются в директорию
2) архивирование этой директории в zip-архив
3) копирование архива на гуглдиск в его родную папку
4) удаление следов бекапа.

Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать...
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39927160
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Imperous,

mongodump чем вам не угодил?
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39927164
Imperous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANA
Imperous,

mongodump чем вам не угодил?


тем что на Heroku нельзя устанавливать левые приложения.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39927165
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Imperous
skyANA
Imperous,

mongodump чем вам не угодил?


тем что на Heroku нельзя устанавливать левые приложения.

Когда это официальный пакет утилит стал левым?

https://docs.mongodb.com/manual/reference/program/mongodump/
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39927211
Imperous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANA
Imperous
пропущено...


тем что на Heroku нельзя устанавливать левые приложения.

Когда это официальный пакет утилит стал левым?

https://docs.mongodb.com/manual/reference/program/mongodump/


Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39927262
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Imperous
Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения.

Тебе вроде и советовали, если ты программист, написать rest api для архивации ручками.

Imperous
Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать...
ниче не понял. Чей токен и что защищает?
Если гугл карта, то там бессрочный ключик. Берем его из админки гугла.
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39927274
Imperous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Imperous
Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения.

Тебе вроде и советовали, если ты программист, написать rest api для архивации ручками.

Imperous
Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать...
ниче не понял. Чей токен и что защищает?
Если гугл карта, то там бессрочный ключик. Берем его из админки гугла.


Ничего себе фантазер... Уже и типа советовали и даже зачем-то рест.
Какая нафиг гуглокарта если речь идёт о гуглодиске???
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39927300
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Imperous
Ничего себе фантазер... Уже и типа советовали и даже зачем-то рест.

У тебя оперативная память слабая.
Если я фантазер.
22053166
...
Рейтинг: 0 / 0
Heroku+MongoDB, нужен автоматический бэкап
    #39927301
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Imperous
skyANA
пропущено...

Когда это официальный пакет утилит стал левым?

https://docs.mongodb.com/manual/reference/program/mongodump/


Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения.

То есть написать и использовать свой велосипед есть возможность, а mongodump нет.
Мягко говоря - удивительно.
...
Рейтинг: 0 / 0
25 сообщений из 73, страница 2 из 3
Форумы / Java [игнор отключен] [закрыт для гостей] / Heroku+MongoDB, нужен автоматический бэкап
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]