#!/bin/bash
#
# Yandex.Disk backup script v1.0 by Sergey Lukonin (neblog.info) // modified by Anton Koudinov (itwrks.org)
#
#

# # # # # # # # # # НАСТРОЙКИ БЭКАПА MYSQL # # # # # # # # # #

#
# В домашней директории пользователя, из под которого будет запускаться программа mysqldump, создайте конфигурационный файл ~/.my.cnf с параметрами доступа к серверу MYSQL следующего содержания:
#
## [mysqldump]
## host = 127.0.0.1
## user = backup
## password= "backup123"
#

# Параметры mysqldump
MYSQLDUMP_PARAMS='--routines --triggers --single-transaction --quick --max_allowed_packet=64M --lock-tables=false --complete-insert'

# # # # # # # # # # ОБЩИЕ НАСТРОЙКИ # # # # # # # # # #

# Директория для временного хранения бэкапов, которые удаляются после отправки на Яндекс.Диск
BACKUP_DIR='/mnt/localfs/nfs/share/_backup/upload'

# Название проекта, используется в логах и именах архивов
PROJECT='itwrks.org'

# Сколько дней хранятся бэкапы на Яндекс.Диске (0 - хранить все бэкапы). Учитывайте расписание резервного копирования, так как дата для автоматического удаления рассчитывается от текущей минус количество дней, указанных в параметре.
# Например, делаете архивы каждый день и хотите хранить за 14 дней - задаёте 14. Делаете еженедельно и хотите хранить 4 архива - задаёте 30
MAX_BACKUPS='14'

# Базы данных для архивации (указываются через пробел), которые будут отправлены на Яндекс.Диск
DBS='NOSQLRU RESQLRU'

# Yandex.Disk токен (как получить - см. на neblog.info)
TOKEN='123qweasdzxc '

# Директория приложения на Яндекс.Диске, куда будут отправлены архивы. Необходимо создать предварительно
APP_DIR='DB'

# Произвольное имя расширения (с точкой!) для архива (Яндекс ограничивает скорость загрузки для некоторых MIME https://yadisk.readthedocs.io/ru/dev/known_issues.html. При необходимости восстановления расширение достаточно удалить и распаковать как обычный архив)
ext='.yarch'

# Имя лог-файла, хранится в директории, указанной в $BACKUP_DIR
LOGFILE='backup.log'

# E-mail для отправки результата выполнения скрипта. Оставьте пустым, если отправлять результаты не требуется
sendLog='root@itwrks.org'

# Отправлять только ошибки (true). Укажите false, если нужно отправлять логи при любом результате выполнения скрипта
sendLogErrorsOnly='false'

# Выбор сжатия. xz - сильнее сжатие, меленнее скорость. gzip - слабее сжатие, быстрее скорость. Оптимальный вариант - gzip
arch='gzip'

# # # # # # # # # # КОНЕЦ НАСТРОЕК # # # # # # # # # # # # #
# # # # # # # # ДАЛЬШЕ НИЧЕГО НЕ МЕНЯЕМ! # # # # # # # # # #

# Дата, используется в именах архивов для расчёта количества бэкапов для автоматического удаления
DATE="`date '+%Y%m%d'`.`date '+%H%M%S'`"

# # # # # # # # ДАЛЬШЕ НИЧЕГО НЕ МЕНЯЕМ! # # # # # # # # # #

cd $BACKUP_DIR || exit 88

function mailing()
{
    if [ ! $sendLog = '' ];then
        if [ "$sendLogErrorsOnly" == true ];
        then
            if echo "$1" | grep -q 'error'
            then
                echo "$2" | mail -s "$1" $sendLog > /dev/null
            fi
        else
            echo "$2" | mail -s "$1" $sendLog > /dev/null
        fi
    fi
}

function logger()
{
    echo "["`date "+%Y-%m-%d %H:%M:%S"`"] File $BACKUP_DIR: $1" >> $BACKUP_DIR/$LOGFILE
}

function parseJson()
{
    local output
    regex="(\"$1\":[\"]?)([^\",\}]+)([\"]?)"
    [[ $2 =~ $regex ]] && output=${BASH_REMATCH[2]}
    echo $output
}

function checkError()
{
    echo $(parseJson 'error' "$1")
}

function getUploadUrl()
{
    json_out=`curl -s -H "Authorization: OAuth $TOKEN" "https://cloud-api.yandex.net:443/v1/disk/resources/upload/?path=app:/$APP_DIR/$backupName&overwrite=true"`
    json_error=$(checkError "$json_out")
    if [[ $json_error != '' ]];
    then
        logger "$PROJECT - Yandex.Disk error: $json_error"
        mailing "$PROJECT - Yandex.Disk backup error" "ERROR copy file $FILENAME. Yandex.Disk error: $json_error"
    echo ''
    else
        output=$(parseJson 'href' $json_out)
        echo $output
    fi
}

function uploadFile
{
    local json_out
    local uploadUrl
    local json_error
    uploadUrl=$(getUploadUrl)
    if [[ $uploadUrl != '' ]];
    then
    echo $UploadUrl
        json_out=`curl -s -T $1 -H "Authorization: OAuth $TOKEN" $uploadUrl`
        json_error=$(checkError "$json_out")
    if [[ $json_error != '' ]];
    then
        logger "$PROJECT - Yandex.Disk error: $json_error"
        mailing "$PROJECT - Yandex.Disk backup error" "ERROR copy file $FILENAME. Yandex.Disk error: $json_error"

    else
        logger "$PROJECT - Copying file to Yandex.Disk success"
        mailing "$PROJECT - Yandex.Disk backup success" "SUCCESS copy file $FILENAME"

    fi
    else
        echo 'Some errors occured. Check log file for detail'
    fi
}

function backups_list() {
    # Ищем в директории приложения все файлы бэкапов и выводим их названия:
    curl -s -H "Authorization: OAuth $TOKEN" "https://cloud-api.yandex.net:443/v1/disk/resources?path=app:/$APP_DIR/&sort=created&limit=100" | tr "{},[]" "\n" | grep "name[[:graph:]]*.sql.*$ext" | cut -d: -f 2 | tr -d '"' | grep -v ^http
}

function backups_count() {
    local bkps=$(backups_list | wc -l)
    echo $bkps
}

function remove_old_backups() {
    logger "Удаляем старые бэкапы с Яндекс.Диска"
    # Цикл удаления старых бэкапов:
    # - От текущей даты отсчитываем количество дней, указанных в параметре MAX_BACKUPS и определяем дату для удаления
    # - Основываясь на имени файла, удаляем бэкапы до необходимой даты
    bkps=$(backups_count)
    if [ $bkps -gt 0 ]; then
        old_bkps=$(date '+%Y%m%d' -d "-$MAX_BACKUPS day")
        while read entry; do
            old_entry=$(echo $entry | cut -f1 -d.)
            if [ $old_entry -lt $old_bkps ]; then
                logger "Удаляем $entry"
                curl -X DELETE -s -H "Authorization: OAuth $TOKEN" "https://cloud-api.yandex.net:443/v1/disk/resources?path=app:/$APP_DIR/$(backups_list | awk '(NR == 1)')&permanently=true"
            fi
        done <<< `backups_list`
    fi
}

logger "--- $PROJECT START BACKUP $DATE ---"

logger "Делаем дамп баз данных"

# Определяем расширение файла в зависомости от выбора архиватора
[ $arch = 'gzip' ] && ext_arch='gz'
[ $arch = 'xz' ] && ext_arch='xz'

for DB in $DBS
    do
        logger "Делаем дампы базы данных $DB"
        mysqldump $MYSQLDUMP_PARAMS $DB | $arch -c > $BACKUP_DIR/$DATE.$DB.sql.$ext_arch$ext
    done

for file in `ls $BACKUP_DIR --hide=$LOGFILE`
    do
        FILENAME=$file
        logger "Выгружаем на Яндекс.Диск архив $file"
        backupName=$file
        uploadFile $file
    done

logger "Удаляем архивы с диска"
find $BACKUP_DIR -maxdepth 1 -type f -name "*.sql.*$ext" -exec rm '{}' \;

# Удаляем старые бэкапы с Яндекс.Диска (если MAX_BACKUPS > 0)
if [ $MAX_BACKUPS -gt 0 ]; then remove_old_backups; fi

logger "Завершение скрипта бэкапа"

#!/bin/bash
#
# Yandex.Disk backup script v1.0 by Sergey Lukonin (neblog.info) // modified by Anton Koudinov (itwrks.org)
#
#

# # # # # # # # # # НАСТРОЙКИ TAR # # # # # # # # # # #

# Параметры tar
TAR_PARAMS='-cvf'

# # # # # # # # # # ОБЩИЕ НАСТРОЙКИ # # # # # # # # # #

# Директория для временного хранения бэкапов, которые удаляются после отправки на Яндекс.Диск
BACKUP_DIR='/mnt/localfs/nfs/share/_backup/upload'

# Название проекта, используется в логах и именах архивов
PROJECT='itwrks.org'

# Сколько дней хранятся бэкапы на Яндекс.Диске (0 - хранить все бэкапы). Учитывайте расписание резервного копирования, так как дата для автоматического удаления рассчитывается от текущей минус количество дней, указанных в параметре.
# Например, делаете архивы каждый день и хотите хранить за 14 дней - задаёте 14. Делаете еженедельно и хотите хранить 4 архива - задаёте 30
MAX_BACKUPS='0'

# Директории для архивации (указываются через пробел), которые будут отправлены на Яндекс.Диск. Необходимо задать префикс для названия архива. Формат: <prefix:/path/to/dir>
DIR1='NOSQLRU:/mnt/localfs/nfs/share/_backup/WWW_DATA/nosql.ru/forum/user_data'
DIR2='RESQLRU:/mnt/localfs/nfs/share/_backup/WWW_DATA/resql.ru/forum/user_data'
DIRS="$DIR1 $DIR2"

# Yandex.Disk токен (как получить - см. на neblog.info)
TOKEN='123qweasdzxc'

# Директория приложения на Яндекс.Диске, куда будут отправлены архивы. Необходимо создать предварительно
APP_DIR='WWW_DATA'

# Произвольное имя расширения (с точкой!) для архива (Яндекс ограничивает скорость загрузки для некоторых MIME https://yadisk.readthedocs.io/ru/dev/known_issues.html. При необходимости восстановления расширение достаточно удалить и распаковать как обычный архив)
ext='.yarch'

# Имя лог-файла, хранится в директории, указанной в $BACKUP_DIR
LOGFILE='backup.log'

# E-mail для отправки результата выполнения скрипта. Оставьте пустым, если отправлять результаты не требуется
sendLog='root@itwrks.org'

# Отправлять только ошибки (true). Укажите false, если нужно отправлять логи при любом результате выполнения скрипта
sendLogErrorsOnly='false'

# Выбор сжатия. xz - сильнее сжатие, меленнее скорость. gzip - слабее сжатие, быстрее скорость. Оптимальный вариант - gzip
arch='gzip'

# # # # # # # # # # КОНЕЦ НАСТРОЕК # # # # # # # # # # # # #
# # # # # # # # ДАЛЬШЕ НИЧЕГО НЕ МЕНЯЕМ! # # # # # # # # # #

# Дата, используется в именах архивов для расчёта количества бэкапов для автоматического удаления
DATE="`date '+%Y%m%d'`.`date '+%H%M%S'`"

# # # # # # # # ДАЛЬШЕ НИЧЕГО НЕ МЕНЯЕМ! # # # # # # # # # #

cd $BACKUP_DIR || exit 88

function mailing()
{
    if [ ! $sendLog = '' ];then
        if [ "$sendLogErrorsOnly" == true ];
        then
            if echo "$1" | grep -q 'error'
            then
                echo "$2" | mail -s "$1" $sendLog > /dev/null
            fi
        else
            echo "$2" | mail -s "$1" $sendLog > /dev/null
        fi
    fi
}

function logger()
{
    echo "["`date "+%Y-%m-%d %H:%M:%S"`"] File $BACKUP_DIR: $1" >> $BACKUP_DIR/$LOGFILE
}

function parseJson()
{
    local output
    regex="(\"$1\":[\"]?)([^\",\}]+)([\"]?)"
    [[ $2 =~ $regex ]] && output=${BASH_REMATCH[2]}
    echo $output
}

function checkError()
{
    echo $(parseJson 'error' "$1")
}

function getUploadUrl()
{
    json_out=`curl -s -H "Authorization: OAuth $TOKEN" "https://cloud-api.yandex.net:443/v1/disk/resources/upload/?path=app:/$APP_DIR/$backupName&overwrite=true"`
    json_error=$(checkError "$json_out")
    if [[ $json_error != '' ]];
    then
        logger "$PROJECT - Yandex.Disk error: $json_error"
        mailing "$PROJECT - Yandex.Disk backup error" "ERROR copy file $FILENAME. Yandex.Disk error: $json_error"
    echo ''
    else
        output=$(parseJson 'href' $json_out)
        echo $output
    fi
}

function uploadFile
{
    local json_out
    local uploadUrl
    local json_error
    uploadUrl=$(getUploadUrl)
    if [[ $uploadUrl != '' ]];
    then
    echo $UploadUrl
        json_out=`curl -s -T $1 -H "Authorization: OAuth $TOKEN" $uploadUrl`
        json_error=$(checkError "$json_out")
    if [[ $json_error != '' ]];
    then
        logger "$PROJECT - Yandex.Disk error: $json_error"
        mailing "$PROJECT - Yandex.Disk backup error" "ERROR copy file $FILENAME. Yandex.Disk error: $json_error"

    else
        logger "$PROJECT - Copying file to Yandex.Disk success"
        mailing "$PROJECT - Yandex.Disk backup success" "SUCCESS copy file $FILENAME"

    fi
    else
        echo 'Some errors occured. Check log file for detail'
    fi
}

function backups_list() {
    # Ищем в директории приложения все файлы бэкапов и выводим их названия:
    curl -s -H "Authorization: OAuth $TOKEN" "https://cloud-api.yandex.net:443/v1/disk/resources?path=app:/$APP_DIR/&sort=created&limit=100" | tr "{},[]" "\n" | grep "name[[:graph:]]*.tar.*$ext" | cut -d: -f 2 | tr -d '"' | grep -v ^http
}

function backups_count() {
    local bkps=$(backups_list | wc -l)
    echo $bkps
}

function remove_old_backups() {
    logger "Удаляем старые бэкапы с Яндекс.Диска"
    # Цикл удаления старых бэкапов:
    # - От текущей даты отсчитываем количество дней, указанных в параметре MAX_BACKUPS и определяем дату для удаления
    # - Основываясь на имени файла, удаляем бэкапы до необходимой даты
    bkps=$(backups_count)
    if [ $bkps -gt 0 ]; then
        old_bkps=$(date '+%Y%m%d' -d "-$MAX_BACKUPS day")
        while read entry; do
            old_entry=$(echo $entry | cut -f1 -d.)
            if [ $old_entry -lt $old_bkps ]; then
                logger "Удаляем $entry"
                curl -X DELETE -s -H "Authorization: OAuth $TOKEN" "https://cloud-api.yandex.net:443/v1/disk/resources?path=app:/$APP_DIR/$(backups_list | awk '(NR == 1)')&permanently=true"
            fi
        done <<< `backups_list`
    fi
}

logger "--- $PROJECT START BACKUP $DATE ---"

logger "Делаем архивы директорий"

# Определяем расширение файла в зависомости от выбора архиватора
[ $arch = 'gzip' ] && ext_arch='gz'
[ $arch = 'xz' ] && ext_arch='xz'

for DIR in $DIRS
    do
        tar_name=$(echo $DIR | cut -f1 -d:)
        DIR=$(echo $DIR | cut -f2 -d:)
        logger "Делаем архив директории $DIR"
        tar $TAR_PARAMS - $DIR | $arch -c > $BACKUP_DIR/$DATE.$tar_name.tar.$ext_arch$ext
    done

for file in `ls $BACKUP_DIR --hide=$LOGFILE`
    do
        FILENAME=$file
        logger "Выгружаем на Яндекс.Диск архив $file"
        backupName=$file
        uploadFile $file
    done

logger "Удаляем архивы с диска"
find $BACKUP_DIR -maxdepth 1 -type f -name "*.tar.*$ext" -exec rm '{}' \;

# Удаляем старые бэкапы с Яндекс.Диска (если MAX_BACKUPS > 0)
if [ $MAX_BACKUPS -gt 0 ]; then remove_old_backups; fi

logger "Завершение скрипта бэкапа"

#!/bin/bash
#

sname="srv-adm.srv.itwrks"
scdir="/srv/scripts/backup"
sc_backup_sql="$scdir/backup_sql.sh"
#sc_backup_sys="$scdir/backup_sys.sh"
sc_backup_www_app="$scdir/backup_www_app.sh"
sc_backup_www_data="$scdir/backup_www_data.sh"
email=root
RETVAL=0

do_backup_sql() {
    $sc_backup_sql
    [ $? == 0 ] || exit 88
}

do_backup_sys() {
    echo "sys"
    #$sc_backup_sys
    [ $? == 0 ] || exit 88
}

do_backup_www_app() {
    $sc_backup_www_app
    [ $? == 0 ] || exit 88
}

do_backup_www_data() {
    $sc_backup_www_data
    [ $? == 0 ] || exit 88
}

do_backup_all() {
    do_backup_sql
    sleep 5
    do_backup_www_data
    sleep 5
    do_backup_www_app
    sleep 5
    do_backup_sys
}

#####

case "$1" in
    --backup-all)
        do_backup_all
        ;;
    --backup-sql)
        do_backup_sql
        ;;
    --backup-sys)
        do_backup_sys
        ;;
    --backup-www-app)
        do_backup_www_app
        ;;
    --backup-www-data)
        do_backup_www_data
        ;;
    *)
        echo "Usage: $0 --backup-all | --backup-sql | --backup-sys | --backup-www-app | --backup-www-data"
esac