通过ossutil迁移日志文件至阿里云OSS

本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/255

一、下载和安装

ossutil支持在Windows、Linux、macOS等系统中运行，您可以根据实际环境下载和安装合适的版本。

1.1 版本和运行环境

• 当前版本：1.7.10
• 软件源码：ossutil
• 运行环境
  • Windows/Linux/macOS
  • 支持架构：x86（32bit、64bit）、ARM（32bit、64bit）

1.2 下载地址

ossutil1.7.8版本基于Golang 1.16版本编译，不支持通过macOS x86 32bit操作系统使用ossutil。因此，ossutil1.7.8及以上版本均不再提供ossutilmac32安装包。

• Linux x86 32bit
• Linux x86 64bit
• Windows x86 32bit
• Windows x86 64bit
• macOS x86 64bit
• ARM 32bit
• ARM 64bit

根据您的操作系统下载对应版本，然后按如下步骤安装并配置ossutil，以下均以64位系统为例。

1.3 Linux系统安装

1. 运行以下命令下载ossutil。

   cd /usr/local/src
   wget https://gosspublic.alicdn.com/ossutil/1.7.10/ossutil64

   注意 复制下载地址时会自动加上spm编码内容，使用wget命令下载时注意删除链接中?spm=xxxx的内容。

2. 运行以下命令修改文件执行权限。

   chmod 755 /usr/local/src/ossutil64

3. 使用交互式配置生成配置文件。

   1. 输入配置命令。

      /usr/local/src/ossutil64 config

      或者直接写入配置文件：

      cat  >  /usr/local/src/youConfig <<EOF
      [Credentials]
      language=CH
      endpoint=http://oss-cn-beijing-internal.aliyuncs.com
      accessKeyID=xxxxx
      accessKeySecret=xxxxx
      EOF
      

      使用的时候进行指定配置

      /usr/local/src/ossutil64 ls oss://yourbucket -c /usr/local/src/youConfig
      

   2. 根据提示设置配置文件路径。

      建议直接按回车使用默认配置文件的路径。

      请输入配置文件名，文件名可以带路径（默认为：/home/user/.ossutilconfig，回车将使用默认路径。
      如果用户设置为其它路径，在使用命令时需要将--config-file选项设置为该路径）：

      ossutil默认使用/home/user/.ossutilconfig作为配置文件，若您设置了配置文件的路径，则每次使用命令时需增加**-c选项指定配置文件。例如配置文件保存为/usr/local/src，使用ls**时，命令格式如下：

      /usr/local/src/ossutil64 ls oss://yourbucket -c /usr/local/src/youConfig

   3. 根据提示设置工具的语言。

      请输入语言CH或EN。工具使用的语言默认与操作系统保持一致。该配置项将在此次config命令设置成功后生效。

   4. 根据提示分别设置Endpoint、AccessKey ID、AccessKey Secret和STSToken参数。

      参数说明如下：

      • endpoint：填写Bucket所在地域的Endpoint。各地域Endpoint详情，请参见

        访问域名和数据中心。

        您也可以增加http://或https://指定ossutil访问OSS使用的协议，默认使用HTTP协议。例如使用HTTPS协议访问深圳的Bucket，设置为https://oss-cn-shenzhen.aliyuncs.com。

      • accessKeyID、accessKeySecret：填写账号的AccessKey。

        • 使用阿里云账号或RAM用户访问时，AccessKey的获取方式，请参见获取AccessKey。

   • 使用STS临时授权账号访问时，AccessKey的获取方式，请参见使用STS临时访问凭证访问OSS。

   • stsToken：使用STS临时授权账号访问OSS时需要配置该项，否则置空即可。关于stsToken的生成方式，请参见临时访问凭证。

   说明 关于配置文件的更多信息，请参见config。

1.4 Windows系统安装

1. 单击下载链接下载工具。

2. 将工具解压，并双击运行ossutil.bat文件。

3. 运行以下命令，生成配置文件。

   D:\ossutil>ossutil64.exe config

4. 根据提示设置配置文件。设置方法与Linux系统生成配置文件的方法相同。

1.5 macOS系统安装

1. 运行以下命令下载ossutil。

   curl -o ossutilmac64 https://gosspublic.alicdn.com/ossutil/1.7.10/ossutilmac64

2. 运行以下命令修改文件执行权限。

   chmod 755 ossutilmac64

3. 运行以下命令，生成配置文件。

   ./ossutilmac64 config

4. 根据提示设置配置文件。设置方法与Linux系统生成配置文件的方法相同。

ARM系统安装

1. 运行以下命令下载ossutil。

   wget https://gosspublic.alicdn.com/ossutil/1.7.10/ossutilarm64

2. 运行以下命令修改文件执行权限。

   chmod 755 ossutilarm64

3. 运行以下命令，生成配置文件。

   ./ossutilarm64 config

4. 根据提示设置配置文件。设置方法与Linux系统生成配置文件的方法相同。

二、实际应用,系统Centos

注意：下面的例子对应的

bucket的名为：oss-application-log；

ossutil64的配置文件为：/usr/local/src/oss-application-log

2.1 上传文件

/usr/local/src/ossutil64 cp youFile oss://yourBucket/youFile

举例:

/usr/local/src/ossutil64 cp /data/logs/php/php_errors.log oss://oss-application-log/logs/php/php_errors.log

2.2 上传文件夹

/usr/local/src/ossutil64 cp youDir oss://yourBucket/youDir

举例：

/usr/local/src/ossutil64 cp -r /data/logs/php/ oss://oss-application-log/logs/php/

2.3 增量上传文件夹

./ossutil64 cp -r -u yourDir oss://oss-application-log/path

/usr/local/src/ossutil64 cp -r /data/logs/php/ oss://oss-application-log/logs/php/ -c /usr/local/src/oss-application-log -u

2.4 备份日志可以把增量上传命令写入脚本/usr/local/src/ossutil64.sh

#!/usr/bin/bash
/usr/local/src/ossutil64 cp -r  yourDir oss://yourBucket/path -u

举例：

#!/usr/bin/bash
/usr/local/src/ossutil64 cp -r /data/logs/php/ oss://oss-application-log/logs/php/ -c /usr/local/src/oss-application-log -u

开启定时任务

crontab -e

每天2点执行

0 2 * * * sh /usr/local/src/ossutil64.sh

 

本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/255