百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

如何把 Docker Volumes 远程备份到 Amazon S3 ?

nanshan 2024-12-23 12:36 24 浏览 0 评论

在容器化的世界里,Docker 已经成为使用容器创建、部署和运行应用程序的首选解决方案。但是,与任何数据驱动的应用程序一样,备份数据对于确保可以从任何不可预见的数据丢失或损坏中恢复至关重要。本文将指导您创建一个完美的 shell 脚本,该脚本不仅可以定期备份 Docker 卷,还可以将这些备份上传到 Amazon
S3 进行异地存储,并清理旧备份以节省空间。

Backup Shell Script

创建一个名为 docker volume backup.sh 的新文件,复制并粘贴下面的脚本。

#!/bin/bash

# Script Name: Docker Volume Backup Script
# Description: This script backs up Docker volumes, uploads them to Amazon S3, and cleans up old backups.
# Written by: Rahul Kumar
# Website: https://tecadmin.net
# Version: 1.0.1

# Configuration
BACKUP_PATH="/path/to/backup"
S3_BUCKET="s3://your-bucket-name/docker-volumes/"
MAX_BACKUPS=5 # The maximum number of backups to keep

# Create backup directory if not exists
mkdir -p "$BACKUP_PATH"

# Function to backup a Docker volume
backup_volume() {
    VOLUME_NAME=$1
    TIMESTAMP=$(date +"%Y%m%d-%H%M%S")
    BACKUP_NAME="${VOLUME_NAME}_${TIMESTAMP}.tar.gz"

    echo "Backing up Docker volume '$VOLUME_NAME' to $BACKUP_NAME"

    docker run --rm -v $VOLUME_NAME:/volume -v $BACKUP_PATH:/backup alpine \
    tar czf /backup/$BACKUP_NAME -C /volume ./

}

# Function to upload backups to s3
upload_to_s3() {
    BACKUP_FILE=$1
    echo "Uploading $BACKUP_FILE to S3"
    aws s3 cp $BACKUP_PATH/$BACKUP_FILE $S3_BUCKET/$BACKUP_FILE
}

# Function to remove older backups
cleanup_backups() {
    echo "Cleaning up old backups"
    BACKUPS=$(ls $BACKUP_PATH | wc -l)
    BACKUPS_TO_DELETE=$(($BACKUPS-$MAX_BACKUPS))

    if [ $BACKUPS_TO_DELETE -gt 0 ]; then
        ls -t $BACKUP_PATH | tail -$BACKUPS_TO_DELETE | while read BACKUP_FILE; do
            echo "Deleting old backup $BACKUP_FILE"
            rm $BACKUP_PATH/$BACKUP_FILE
        done
    fi
}


# Define your Docker volumes in an array
VOLUMES=("volume1" "volume2")

for VOLUME in "${VOLUMES[@]}"; do
    backup_volume "$VOLUME"
    upload_to_s3 "$BACKUP_NAME"
done

cleanup_backups

echo "Backup process completed."

定义本地备份目录、用于上传的 S3 桶路径以及要保留的最大备份数量

BACKUP_PATH="/path/to/backup"

指定存放 Docker 卷备份的本地目录路径。

S3_BUCKET="s3://your-bucket-name/docker-volumes/"

设置 Amazon S3 存储桶路径,包括存放 Docker 卷备份的具体目录。

MAX_BACKUPS=5

本地保留的 Docker 卷备份文件的最大数量。

VOLUMES=("volume1" "volume2")

定义要备份的所有 docker 卷,您可以使用 docker volume ls 命令查找卷列表。

Running Script Manually

为了确保脚本能够在计划任务中正确运行,请先手动执行它。首先给脚本添加可执行权限。

chmod +x docker_volume_backup.sh

手动执行脚本

./docker_volume_backup.sh

脚本运行后,请确认备份已在 $BACKUP PATH 指定的位置创建,并且也存在于指定的 S3 桶中。

Scheduling the Script with Crontab

在手动验证脚本之后,使用 crontab 设置自动运行。执行 crontab -e 添加一行,包含以下内容:

0  2   *   *   *     bash /path/to/docker_volume_backup.sh

脚本安排在每天凌晨 2:00 运行,根据需要调整时间以适应您的备份策略。

我的开源项目

  • course-tencent-cloud(酷瓜云课堂 - gitee 仓库)
  • course-tencent-cloud(酷瓜云课堂 - github 仓库)

相关推荐

人人视频崩了怎么回事 人人视频下架了吗为什么刷不出来了

[海峡网]人人视频挂了吗下架了吗人人视频崩了怎么回事刷不出来了?人人视频发生了什么?怎么都看不成了,暂时还是永久?本来还以为是手机的问题,原来是客户端崩了难怪一直显示服务器异常!追着的美剧突然都下架...

502 bad gateway怎么解决?(502 bad gatewaynginxundefined)

相信许多小伙伴都遇到打开的网页提示502badgateway,502badgateway是提示用户该网址的网关错误,Web服务器作为网关或代理服务器时收到无效的响应,不管怎么刷新怎么重新输入地...

2岁男童眼睛被滴入强酸药水,医生亲身“试”药吓坏了……

平日里,小孩子爱玩爱闹是常事儿,但是大人的注意力如果时不时的掉线可就麻烦了。这一天,杭师大附院眼科陈舒主任医师像往常一样在接诊病人,然而一个孩子的哭闹声引起了她的注意,一群人神情焦灼,簇拥着一个孩子急...

3岁男童误将502胶当滴眼液,幸好妈妈及时处理,医生也为她点赞

小孩子由于心智还不够成熟,因此往往会做出一些危险的事情,甚至对自己造成伤害,这就需要家长的监督和保护。巧也不巧,日常生活中能够对孩子造成威胁的东西实在是太多了,堪称数不胜数,水笔、筷子、桌角,甚至刚拖...

5岁娃把502胶当眼药水滴眼中,爸爸的做法很机智,医生都称赞

文|哑铃妈妈家里有小孩子的一定要注意,在我们的家里存在很多的安全隐患,有的时候连家长都想不到的东西,竟然对孩子带来了伤害。5岁娃把502胶当眼药水滴眼中,爸爸的做法很机智,医生都点赞女孩乐乐长得可爱,...

宝宝误食502胶水,连忙送医救治,医生却夸宝妈做得好

有了孩子之后,妈妈都会变得神经敏感,生怕自己没有把孩子照顾好,但是毕竟一个人的经历是有限的,再加上孩子要是会走路,会说话之后对宝妈来说更是一种挑战,危及可能无时无刻不存在,这不,因为宝妈一转身的功夫,...

记一次Netty「直接内存溢出」导致线上网关项目宕机排查过程

作为一名Java开发者,我们都知道Java进程是运行在Java虚拟机上的,而Java进程要想正常运行则需要向计算机申请内存,其中主要为Java对象实例所占用的堆(heap)内存(当然还有其他的也会占用...

刚刚,突然崩了!网易云音乐紧急回应

今天下午#网易云音乐崩了#登上微博热搜第一在社交平台上,不少网友反馈,网易云音乐疑似崩溃。网友晒出网页端出现“502BadGateway”的服务器错误,同时网易云音乐的移动应用程序也无法正常使用。...

常见状态码(常见的状态码)

一二三四五原则:(即一:消息系列;二:成功系列;三:重定向系列;四:请求错误系列;五:服务器端错误系列。301状态码是永久移动302是临时移动304如果请求头中带有If-None-Match...

8岁男孩眼睛溅入502胶水,妈妈一番操作结果粘得更紧了

家有小孩的爸妈们肯定会多留个心眼照看虽然生活中已经时刻留意可能造成伤害的物品但有时一不留神幼小的孩子就会做出让人担心的事↓↓↓家住深圳的辰辰(化名)今年8岁了3月31日他在家里做手工时想要用未开封的5...

3岁娃滴502胶水在眼睛疼的尖叫,宝妈急中生智,保住孩子眼睛

但还好宝妈急中生智,连忙将孩子带到水龙头处,用水给孩子冲洗了一下眼睛,还用大量的生理盐水来给孩子清洗眼球,之后又立马将孩子送往医院,最后孩子的眼睛也没有什么大碍,拿了点药就能顺利出院了。而502胶水这...

网易云音乐回应App崩了:故障已陆续修复,补偿7天会员

2024年8月19日下午,多名网友反馈称,网易云音乐服务器疑似出现故障,登录网易云音乐APP后发现,个性化推荐和搜索功能均无法使用,并收到“获取数据失败”的提示。此外,网易云音乐的网页端也显示502错...

又崩了!不少人直接傻眼:太离谱!(台湾人到大陆后傻眼)

造车新势力哪吒汽车再被推向舆论风口。5月4日,话题#曝哪吒汽车APP断网#冲上微博热搜App断网无法使用从5月2日开始,陆续有多位网友反映哪吒汽车App断网,App控车无法使用。哪吒汽车App目前出现...

男子误把502胶水当眼药水!千万别犯这种低级错误!

你敢相信吗?有人竟然误把五零二胶水当成了眼药水滴进眼睛里。这可不是什么玩笑话,而是近日发生在武汉的一起真实事件。一名男子因此导致眼角膜严重受损,不得不紧急就医。据武汉大学附属爱尔眼科医院报道,这名男子...

502入眼危机!这份急救指南请牢记(502进入眼中怎么办)

502入眼,真实案例触目惊心生活中,502胶水是常用的黏合剂,以其强力黏合性备受青睐。但它一旦进入眼睛,后果不堪设想,下面这些真实案例,足以让我们警醒。曾有这样一则新闻,一位4岁女童在家玩耍时...

取消回复欢迎 发表评论: