|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
mayton Я изучая EMR за 6 дней держал поднятым кластер. Ничего 6ля так и не сделал. Но счет на 30$ я получил. Хорошо хоть чисто случайно на биллинг глянул. Многие вещи - неочевидны. Странно как-то Там же настройка на амазоне есть. Лимит трат в месяц. Мне даже при __бесплатном__ сервере, уведомление на почту приходили ))) Вы потратили 8 из 10 $ бесплатных. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.12.2019, 18:24 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Да нет. У меня уже давно платный аккаут. Но пока основные расходы это S3. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.12.2019, 18:28 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
gycb Imperous,не ругайся,скоро Новый Год ,а ты такой злой.На тебя никто не налетал если что вот адон - на фри тарифе дейли бекап ,можно и кастомы делать https://elements.heroku.com/addons/mongolab Только сейчас заметил. Я не ругаюсь, я за добро :) Именно этот аддон и использую. Но это уже и так ясно. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.12.2019, 18:33 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Imperous, Виртуалка бесплатная? С осью линукс? Все так. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.12.2019, 18:35 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
mayton Я изучая EMR за 6 дней держал поднятым кластер. Ничего 6ля так и не сделал. Но счет на 30$ я получил. Хорошо хоть чисто случайно на биллинг глянул. Многие вещи - неочевидны. А я буквально полгода назад понадеялся на скрипт от индусов по шатдауну емр... Запустил и не проверил. За выходные 3 штуки накапало. Хорошо что заказчику это капля в море, но осадок остался.. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.12.2019, 22:12 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Imperous PetroNotC Sharp Imperous, Виртуалка бесплатная? С осью линукс? Все так. Ссылку дай. Я за свой хостинг плачу. За рубежом это 1500 в месяц. В РФ это 500 в месяц. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.12.2019, 12:11 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
PetroNotC Sharp, Вот. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.12.2019, 18:03 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Imperous пропущено... Все так. Ссылку дай. Я за свой хостинг плачу. За рубежом это 1500 в месяц. В РФ это 500 в месяц. Может у тебя какие-то особые условия. Я когда запускал, в августе вроде, даже не помню как было, скорей всего где-то выбрал free,и использовал ec2 и s3. Настроил, в крон добавл чтоб при старте системы все поднималось, запустил приложение и забыл, а оно вон работает. Правда не настаивал днс и всего такого. Цель была узнать новое и поиграться по на хероку закончились бесплатные Дино часы. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.12.2019, 18:09 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Отгремят Новогодние... я ветку подниму по оптимизации S3. Мы там уже в технологический потолок упёрлись. То что амазон предлагает по оптимизации - мы всё применили. Но ожидаемой скорости реквестов в секунду не достигаем. Ни по бакету. Ни по префиксу. На приложении - сложно тестировать. Оно просто очень сложно в своей логике и мультипоточке. Будем скорее всего просто собирать макет и смотреть на нём. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.12.2019, 18:20 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Imperous Может у тебя какие-то особые условия. У меня не амазон, а свой хостинг с полностью рутовой осью линукс. Поэтому счел странной твою цель выше примонтировать автор2) установить google-drive-ocamlfuse У тебя задача мелкая - инкрементальный бэкап только БД. А тут монтирование ВСЕЙ файловой системы. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.12.2019, 18:43 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Сделал, как и рассказывал. PetroNotC Sharp Imperous Может у тебя какие-то особые условия. У меня не амазон, а свой хостинг с полностью рутовой осью линукс. Поэтому счел странной твою цель выше примонтировать автор2) установить google-drive-ocamlfuse У тебя задача мелкая - инкрементальный бэкап только БД. А тут монтирование ВСЕЙ файловой системы. Буду рад услышать про более простые варианты. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.01.2020, 16:03 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Imperous Буду рад услышать про более простые варианты. Например: - в облаке А вывесить админское API для архивирования. REST\TCP\FTP - на хостинге B с линуксом написать прогу или скрипт который будет через это API архивировать периодически. Безопасность лучше, так как всё свое и не надо присоединять файловые системы. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.01.2020, 18:34 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Imperous Буду рад услышать про более простые варианты. Например: - в облаке А вывесить админское API для архивирования. REST\TCP\FTP - на хостинге B с линуксом написать прогу или скрипт который будет через это API архивировать периодически. Безопасность лучше, так как всё свое и не надо присоединять файловые системы. Предполагаю, что за бесплатно это не получится, по крайней мере на хостинге B. По сути в этой схеме облако А и не нужно, так как крон чётко работает. В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 06:39 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
ТС, бесплатно не получится это как? Что означает? Учитывая что мы на ветке программистов)))) LOL Может трудоёмко? Тоже непонятно. У меня сейчас хостинг с линуксом. Я там в томкате или jar пишу File file = твоеОблако.getBackup() Трудоемко? ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 08:47 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Imperous В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами. Все эти операции где? На облаке А? Ты выше весь весь тред создавал что в облаке А ничего не сделать так как платно. Чернил не жалей. Напиши на 3 абзаца алгоритм действий с указанием двух систем А и Б. Где что делается. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 08:54 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Imperous В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами. Все эти операции где? На облаке А? Ты выше весь весь тред создавал что в облаке А ничего не сделать так как платно. Чернил не жалей. Напиши на 3 абзаца алгоритм действий с указанием двух систем А и Б. Где что делается. Ок. Вот что получилось. 1. Heroku — облачная PaaS-платформа, на ней настроен деплой приложения, который срабатывает по коммиту на github. Полного доступа к системе нет, есть CLI, который очень ограничен. 2. mLab MongoDB с пакетом Sandbox - аддон для Heroku, который предоставляет базу MongoDB. Бекап за деньги. 3. AWS - коммерческое публичное облако. Здесь, на EC2 была поднята ubuntu 18.04. На ubuntu: - установлен zip/unzip. - установлен google-drive-ocamlfuse. - установлены драйвера MongoDB. - создан скрипт, который: а) делает бекап базы б) создает архив бекапа в) подключает гуглдиск г) копирует архив в специально созданную для него папку д) отключает гуглдиск е) удаляет бекап и архив - в cron создано задание, которое запускает скрипт каждые 8 часов. Абсолютно все бесплатно. Изначально я пытался узнать тут, можно ли с помощью только heroku проделать все манипуляции, которые пришлось делать на aws. Почитал доки, но не увидел там такого решения. Были мысли сделать еще интересней - через spring-овый шедулер делать бекап базы, складывать бекап рядом с приложением, зиповать, и копировать на гугдиск. Идея для развлечения мне очень понравилась, но как выяснилось, для mongodb не придумали java библиотек (или я не нашел) которые позволяют делать бекапы (для mysql есть такое). На этом идея была зарублена. Опять же, если бы можно было на heroku управлять линуксом в полной мере, было бы замечательно. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.01.2020, 16:13 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Продолжение истории. Все чудесно работало... до тех пор, пока мой телефон не сообщил мне о неуспешном снятии денег с карты компанией AWS. Да-да, я сразу же вспомнил статью из хабра )) На этом месте я остановил все сервисы которые у меня работали, некоторые даже удалил. Ничего важно там не было. Все оказалось не столь печально как в статье. Снять хотели примерно 25$. А я деньги не карте держать не люблю. Было около 10 писем выяснений "за что, когда все бесплатно?" (суммарно, туда и обратно), но в итоге нашелся косяк, в виде второго созданного экземпляра EC2. И как в назло, он был запущен. Видимо я когда игрался наиграл лишнего. С помощью саппорта AWS все удалил. Ребята из саппорта просто молодчаги, с терпением, с детальными разъяснениями. На мой вопрос в 2 две строчки я получал письма на 50 строк. Платеж таки отменили. И посоветовали заняться снова спустя месяц. Времени катастрофически не было. Но мысли о бэкапе, время от времени посещали. Гуглинг и пробы показали что таки обычный драйвер MongoDB вполне способен делать то что мне нужно - выгружать все коллекции в файлы в правильном формате (там есть нюансы). Это меня обрадовало, потому что дало пищу для чего-то нового и полезного. Пока обошелся обычным json. В перспективе вероятно сделаю на bson, одним глазом видел, но не вникал. Код: xml 1. 2. 3. 4. 5.
Итого - в приложение добавлен Sheduler, который выполняет: 1) коллекции выгружаются в директорию 2) архивирование этой директории в zip-архив 3) копирование архива на гуглдиск в его родную папку 4) удаление следов бекапа. Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать... ... |
|||
:
Нравится:
Не нравится:
|
|||
16.02.2020, 13:09 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Imperous, mongodump чем вам не угодил? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.02.2020, 13:44 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
skyANA Imperous, mongodump чем вам не угодил? тем что на Heroku нельзя устанавливать левые приложения. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.02.2020, 14:09 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Imperous skyANA Imperous, mongodump чем вам не угодил? тем что на Heroku нельзя устанавливать левые приложения. Когда это официальный пакет утилит стал левым? https://docs.mongodb.com/manual/reference/program/mongodump/ ... |
|||
:
Нравится:
Не нравится:
|
|||
16.02.2020, 14:19 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
skyANA Imperous пропущено... тем что на Heroku нельзя устанавливать левые приложения. Когда это официальный пакет утилит стал левым? https://docs.mongodb.com/manual/reference/program/mongodump/ Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.02.2020, 18:43 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Imperous Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения. Тебе вроде и советовали, если ты программист, написать rest api для архивации ручками. Imperous Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать... Если гугл карта, то там бессрочный ключик. Берем его из админки гугла. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.02.2020, 07:42 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Imperous Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения. Тебе вроде и советовали, если ты программист, написать rest api для архивации ручками. Imperous Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать... Если гугл карта, то там бессрочный ключик. Берем его из админки гугла. Ничего себе фантазер... Уже и типа советовали и даже зачем-то рест. Какая нафиг гуглокарта если речь идёт о гуглодиске??? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.02.2020, 08:51 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Imperous Ничего себе фантазер... Уже и типа советовали и даже зачем-то рест. У тебя оперативная память слабая. Если я фантазер. 22053166 ... |
|||
:
Нравится:
Не нравится:
|
|||
17.02.2020, 10:21 |
|
Heroku+MongoDB, нужен автоматический бэкап
|
|||
---|---|---|---|
#18+
Imperous skyANA пропущено... Когда это официальный пакет утилит стал левым? https://docs.mongodb.com/manual/reference/program/mongodump/ Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения. То есть написать и использовать свой велосипед есть возможность, а mongodump нет. Мягко говоря - удивительно. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.02.2020, 10:21 |
|
|
start [/forum/topic.php?fid=59&msg=39910024&tid=2120738]: |
0ms |
get settings: |
8ms |
get forum list: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
49ms |
get topic data: |
3ms |
get forum data: |
1ms |
get page messages: |
463ms |
get tp. blocked users: |
0ms |
others: | 319ms |
total: | 850ms |
0 / 0 |