| 
 | 
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  mayton Я изучая EMR за 6 дней держал поднятым кластер. Ничего 6ля так и не сделал. Но счет на 30$ я получил. Хорошо хоть чисто случайно на биллинг глянул. Многие вещи - неочевидны. Странно как-то Там же настройка на амазоне есть. Лимит трат в месяц. Мне даже при __бесплатном__ сервере, уведомление на почту приходили ))) Вы потратили 8 из 10 $ бесплатных. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 30.12.2019, 18:24 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Да нет. У меня уже давно платный аккаут. Но пока основные расходы это S3. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 30.12.2019, 18:28 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  gycb Imperous,не ругайся,скоро Новый Год ,а ты такой злой.На тебя никто не налетал если что вот адон - на фри тарифе дейли бекап ,можно и кастомы делать https://elements.heroku.com/addons/mongolab Только сейчас заметил. Я не ругаюсь, я за добро :) Именно этот аддон и использую. Но это уже и так ясно. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 30.12.2019, 18:33 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  PetroNotC Sharp Imperous, Виртуалка бесплатная? С осью линукс? Все так. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 30.12.2019, 18:35 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  mayton Я изучая EMR за 6 дней держал поднятым кластер. Ничего 6ля так и не сделал. Но счет на 30$ я получил. Хорошо хоть чисто случайно на биллинг глянул. Многие вещи - неочевидны. А я буквально полгода назад понадеялся на скрипт от индусов по шатдауну емр... Запустил и не проверил. За выходные 3 штуки накапало. Хорошо что заказчику это капля в море, но осадок остался.. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 30.12.2019, 22:12 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Imperous PetroNotC Sharp Imperous, Виртуалка бесплатная? С осью линукс? Все так. Ссылку дай. Я за свой хостинг плачу. За рубежом это 1500 в месяц. В РФ это 500 в месяц. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 31.12.2019, 12:11 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  PetroNotC Sharp, Вот. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 31.12.2019, 18:03 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  PetroNotC Sharp Imperous пропущено... Все так. Ссылку дай. Я за свой хостинг плачу. За рубежом это 1500 в месяц. В РФ это 500 в месяц. Может у тебя какие-то особые условия. Я когда запускал, в августе вроде, даже не помню как было, скорей всего где-то выбрал free,и использовал ec2 и s3. Настроил, в крон добавл чтоб при старте системы все поднималось, запустил приложение и забыл, а оно вон работает. Правда не настаивал днс и всего такого. Цель была узнать новое и поиграться по на хероку закончились бесплатные Дино часы. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 31.12.2019, 18:09 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Отгремят Новогодние... я ветку подниму по оптимизации S3. Мы там уже в технологический потолок упёрлись. То что амазон предлагает по оптимизации - мы всё применили. Но ожидаемой скорости реквестов в секунду не достигаем. Ни по бакету. Ни по префиксу. На приложении - сложно тестировать. Оно просто очень сложно в своей логике и мультипоточке. Будем скорее всего просто собирать макет и смотреть на нём. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 31.12.2019, 18:20 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Imperous Может у тебя какие-то особые условия. У меня не амазон, а свой хостинг с полностью рутовой осью линукс. Поэтому счел странной твою цель выше примонтировать автор2) установить google-drive-ocamlfuse У тебя задача мелкая - инкрементальный бэкап только БД. А тут монтирование ВСЕЙ файловой системы. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 31.12.2019, 18:43 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Сделал, как и рассказывал. PetroNotC Sharp Imperous Может у тебя какие-то особые условия. У меня не амазон, а свой хостинг с полностью рутовой осью линукс. Поэтому счел странной твою цель выше примонтировать автор2) установить google-drive-ocamlfuse У тебя задача мелкая - инкрементальный бэкап только БД. А тут монтирование ВСЕЙ файловой системы. Буду рад услышать про более простые варианты. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 03.01.2020, 16:03 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Imperous Буду рад услышать про более простые варианты. Например: - в облаке А вывесить админское API для архивирования. REST\TCP\FTP - на хостинге B с линуксом написать прогу или скрипт который будет через это API архивировать периодически. Безопасность лучше, так как всё свое и не надо присоединять файловые системы. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 03.01.2020, 18:34 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  PetroNotC Sharp Imperous Буду рад услышать про более простые варианты. Например: - в облаке А вывесить админское API для архивирования. REST\TCP\FTP - на хостинге B с линуксом написать прогу или скрипт который будет через это API архивировать периодически. Безопасность лучше, так как всё свое и не надо присоединять файловые системы. Предполагаю, что за бесплатно это не получится, по крайней мере на хостинге B. По сути в этой схеме облако А и не нужно, так как крон чётко работает. В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 04.01.2020, 06:39 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  ТС, бесплатно не получится это как? Что означает? Учитывая что мы на ветке программистов)))) LOL Может трудоёмко? Тоже непонятно. У меня сейчас хостинг с линуксом. Я там в томкате или jar пишу File file = твоеОблако.getBackup() Трудоемко? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 04.01.2020, 08:47 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Imperous В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами. Все эти операции где? На облаке А? Ты выше весь весь тред создавал что в облаке А ничего не сделать так как платно. Чернил не жалей. Напиши на 3 абзаца алгоритм действий с указанием двух систем А и Б. Где что делается. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 04.01.2020, 08:54 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  PetroNotC Sharp Imperous В моём случае, с нано-базой, с головой хватает микроинстанса от амазона. Сделал бекап, примонтировал гуглодиск, скопировал, отмонтировал. Доступ к инстансу только по ssh с ключами. Все эти операции где? На облаке А? Ты выше весь весь тред создавал что в облаке А ничего не сделать так как платно. Чернил не жалей. Напиши на 3 абзаца алгоритм действий с указанием двух систем А и Б. Где что делается. Ок. Вот что получилось. 1. Heroku — облачная PaaS-платформа, на ней настроен деплой приложения, который срабатывает по коммиту на github. Полного доступа к системе нет, есть CLI, который очень ограничен. 2. mLab MongoDB с пакетом Sandbox - аддон для Heroku, который предоставляет базу MongoDB. Бекап за деньги. 3. AWS - коммерческое публичное облако. Здесь, на EC2 была поднята ubuntu 18.04. На ubuntu: - установлен zip/unzip. - установлен google-drive-ocamlfuse. - установлены драйвера MongoDB. - создан скрипт, который: а) делает бекап базы б) создает архив бекапа в) подключает гуглдиск г) копирует архив в специально созданную для него папку д) отключает гуглдиск е) удаляет бекап и архив - в cron создано задание, которое запускает скрипт каждые 8 часов. Абсолютно все бесплатно. Изначально я пытался узнать тут, можно ли с помощью только heroku проделать все манипуляции, которые пришлось делать на aws. Почитал доки, но не увидел там такого решения. Были мысли сделать еще интересней - через spring-овый шедулер делать бекап базы, складывать бекап рядом с приложением, зиповать, и копировать на гугдиск. Идея для развлечения мне очень понравилась, но как выяснилось, для mongodb не придумали java библиотек (или я не нашел) которые позволяют делать бекапы (для mysql есть такое). На этом идея была зарублена. Опять же, если бы можно было на heroku управлять линуксом в полной мере, было бы замечательно. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 04.01.2020, 16:13 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Продолжение истории. Все чудесно работало... до тех пор, пока мой телефон не сообщил мне о неуспешном снятии денег с карты компанией AWS. Да-да, я сразу же вспомнил статью из хабра )) На этом месте я остановил все сервисы которые у меня работали, некоторые даже удалил. Ничего важно там не было. Все оказалось не столь печально как в статье. Снять хотели примерно 25$. А я деньги не карте держать не люблю. Было около 10 писем выяснений "за что, когда все бесплатно?" (суммарно, туда и обратно), но в итоге нашелся косяк, в виде второго созданного экземпляра EC2. И как в назло, он был запущен. Видимо я когда игрался наиграл лишнего. С помощью саппорта AWS все удалил. Ребята из саппорта просто молодчаги, с терпением, с детальными разъяснениями. На мой вопрос в 2 две строчки я получал письма на 50 строк. Платеж таки отменили. И посоветовали заняться снова спустя месяц. Времени катастрофически не было. Но мысли о бэкапе, время от времени посещали. Гуглинг и пробы показали что таки обычный драйвер MongoDB вполне способен делать то что мне нужно - выгружать все коллекции в файлы в правильном формате (там есть нюансы). Это меня обрадовало, потому что дало пищу для чего-то нового и полезного. Пока обошелся обычным json. В перспективе вероятно сделаю на bson, одним глазом видел, но не вникал. Код: xml 1. 2. 3. 4. 5. Итого - в приложение добавлен Sheduler, который выполняет: 1) коллекции выгружаются в директорию 2) архивирование этой директории в zip-архив 3) копирование архива на гуглдиск в его родную папку 4) удаление следов бекапа. Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать... ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 16.02.2020, 13:09 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Imperous, mongodump чем вам не угодил? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 16.02.2020, 13:44 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  skyANA Imperous, mongodump чем вам не угодил? тем что на Heroku нельзя устанавливать левые приложения. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 16.02.2020, 14:09 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Imperous skyANA Imperous, mongodump чем вам не угодил? тем что на Heroku нельзя устанавливать левые приложения. Когда это официальный пакет утилит стал левым? https://docs.mongodb.com/manual/reference/program/mongodump/ ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 16.02.2020, 14:19 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  skyANA Imperous пропущено... тем что на Heroku нельзя устанавливать левые приложения. Когда это официальный пакет утилит стал левым? https://docs.mongodb.com/manual/reference/program/mongodump/ Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 16.02.2020, 18:43 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Imperous Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения. Тебе вроде и советовали, если ты программист, написать rest api для архивации ручками. Imperous Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать... Если гугл карта, то там бессрочный ключик. Берем его из админки гугла. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 17.02.2020, 07:42 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  PetroNotC Sharp Imperous Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения. Тебе вроде и советовали, если ты программист, написать rest api для архивации ручками. Imperous Единственное что меня беспокоит - так это рефреш гугло-токенов. Не совсем понимаю - закончится ли через месяц действие токена и придется костылить (в любом случае что-то предпринимать) или токен будет работать... Если гугл карта, то там бессрочный ключик. Берем его из админки гугла. Ничего себе фантазер... Уже и типа советовали и даже зачем-то рест. Какая нафиг гуглокарта если речь идёт о гуглодиске??? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 17.02.2020, 08:51 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Imperous Ничего себе фантазер... Уже и типа советовали и даже зачем-то рест. У тебя оперативная память слабая. Если я фантазер. 22053166 ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 17.02.2020, 10:21 | 
  
  
  
   | 
||
| 
 
Heroku+MongoDB, нужен автоматический бэкап 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Imperous skyANA пропущено... Когда это официальный пакет утилит стал левым? https://docs.mongodb.com/manual/reference/program/mongodump/ Неверно я выразился, - на Heroku, насколько мне известно, невозможно установить любой софт. Только деплой своего приложения. То есть написать и использовать свой велосипед есть возможность, а mongodump нет. Мягко говоря - удивительно. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 17.02.2020, 10:21 | 
  
  
  
   | 
||
| 
 | 

start [/forum/topic.php?fid=59&msg=39910245&tid=2120738]:  | 
    0ms | 
get settings:  | 
    10ms | 
get forum list:  | 
    14ms | 
check forum access:  | 
    4ms | 
check topic access:  | 
    4ms | 
track hit:  | 
    61ms | 
get topic data:  | 
    10ms | 
get forum data:  | 
    3ms | 
get page messages:  | 
    57ms | 
get tp. blocked users:  | 
    1ms | 
| others: | 242ms | 
| total: | 406ms | 

| 0 / 0 | 

    Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
    
    
    «На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
    
    
    ... ля, ля, ля ...