クラウドインフラ構築記

現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。

12/13 第19回 AWS User Group – Japan 東京勉強会に参加しました


東京都品川区東品川2-2-28 タチバナビルで行われた第19回 AWS User Group – Japan 東京勉強会に参加しました。

ストレージゲートウェイVTL クラスメソッド 大瀧さん

テープドライブを仮想的に見せるサービス。ドライブは、iSCSI接続のIBM ULT3580-T5テープドライブとして認識。

Storage Gateway ボリューム型と同様、アプライアンスで一時的に保存し、非同期でS3に転送する仕組み。

S3から取り出した仮想テープは、Glacierに保存。※Glacierから復帰させるのは費用がかかる。

商用で確認取れているのは、NetBackupのみ。他のバックアップソフトでもAWS側で動作検証中とのこと。iSCSI接続なので、動作はされるとは思われる。

S3 Direct Hosting リクルート大井さん

「おしゃれ天気」アプリ(メディアテクノロジラボ)のバックエンドサーバーに当初EC2を使用していた。アクセスを集中する時間帯だけオートスケールでサーバー増設で対応。

S3で配信できないかの話

S3のコストの大半は『転送料』

S3にしても、月10円にならない。ただ、オートスケールから解放された。

マルチAZ対応!AWS上で稼働するスケールアウトNASストレージ Red Hat Storage RedHat平さん

OSS版GlusterFSの商用版「Redhat Storage」の話。

Redhat Enterprise Linx 6上のEC2インスタンスをまとめて、1つの仮想ディスクを構築。もちろん、Multi-AZで構築もできる。

HDEメールサービス 「アーカイブサービス」 小椋さん

メインストレージ S3

検索インデックス用は、S3のI/Oは、HTTPベース単体では遅いので、Writeに並列、Readはキャッシュでカバー

全文検索エンジンは、1から開発。ここはS3は使えない。当時はDynamoDBとかなかったので、mongoDB使用したとのこと。(S3は、PUTは高価なので、解析結果を保存には使えなかった)

Amazon S3  クラウドストレージサービス Amazon Simple Storage Service    アマゾン ウェブ サービス(AWS 日本語)

過去のメールはGlacierに保存。ただし、インデックスについては、S3に保存。Glacierから取り出す場合、取り出し料金がかかることに注意。

「WindowsでS3を便利に使うCUI(GUIじゃないよ)のクライアントを3つほど紹介します。Windowsならではのコケるポイントも踏まえて。」

dgtools、s3sync,s3cmdの紹介。

dgtoolsは商用サービスでは無料試用はNG。

s3cmdは、大きいサイズのファイル転送はこける。pythonなので、一部書き換えることで、可避されること。

※windows版pythonに対応していないライブラリの箇所をコメントアウトすることで可避できる。

S3アクセスコントロール 得上さん

ACL、BucketPolicy、IAMによるS3のアクセス制限についての話。以下クラスメソッドのブログを参照したとのこと。

http://dev.classmethod.jp/cloud/aws/s3-acl-wakewakame/

コメントは受け付けていません。