2017/08/14

s3cmdでIDCFのオブジェクト・ストレージに接続

IDCFクラウドのテック・ブログで解説済みの内容ですが、2017年8月12日現在で最新版のs3cmdはバージョンが2.0になっており、落とし穴もあったのでまとめます。

動作確認が取れた最終的な設定ファイルは以下のようになりました。

[default]
access_key = [API Key]
secret_key = [Secret Key]
check_ssl_certificate = False
check_ssl_hostname = True
enable_multipart = False
host_base = ds.jp-east.idcfcloud.com
host_bucket = %(bucket)s.ds.jp-east.idcfcloud.com
send_chunk = 32768
signature_v2 = True
use_https = True

s3cmd-1.5以降マルチパート・アップロードがうまく動作しないらしいのでenable_multipartをFalseに設定しています。この設定が無いと、15MBごとに分割されてマルチパート・アップロードとなり、エラーが起きました。
とりあえず、巨大なファイルの転送が必要というわけでもなく、ネットワークも安定しているので、エラートラップをスクリプトにまかせればバッチ処理も可能そうです。