クラウドインフラ構築記

現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。

JAWS DAYS 2014に行ってきました。


3/15 (土)  JAWS DAYS 2014に参加しました。1月からJAWS-UG千葉支部のコアメンバーとなって参加になりました。また、3/16 (日)のJAWS-UG総会にも参加し、2014年JAWS-UGが進むべき方向についての議論にも参加しました。

なお、整理できたものから参加レポートを記載します。なお、内容については、随時更新しておきます。

Amazon Kinesisで広がるクラウドによるリアルタイムデータプロセッシングとその未来
大谷 晋平 & 榎並 利晃 [アマゾンデータサービスジャパン株式会社]

Amazon Kinesisはフルマネージドなリアルタイムデータ処理ができる。いままでは、ストリームタイプはありませんでした。

Kinesisの仕組みは肝になるのは下記2つ

  • ストリーム (土管をイメージ)
  • シャード (分割した単位)

Kinesisは小さいサイズで最適化している。

Kinesisがすごいと思ったのは、Kinesisに流しているEC2インスタンスが何らかで落ちてしまった場合も、チェックポイント(フラグ)を付けておいて、EC2が再起動して、落ちてしまったところから再開することが可能。

Kinesisを使う場合、Kinesis Client Libraryを使うのがGOOD!Kinesis SDKもあるが、非現実的。

サンプルなども同封されたKinesis Connectorもあります。

クックパッドのデプロイとオートスケール
成田 一生 [クックパッド株式会社]

cookpadでは、500-700 EC2 インスタンス、50 ELB、96 のS3バケットで運用。

cookpadでは、EC2のTag(タグ)を使って、管理している。

  • Name タグ サーバーのホスト名
  • Role タグ インスタンスの役割
    • Role:app
  • Status タグ バランサーに追加していいかを定義
    • Status : working  となっている場合、HA Proxy ( cookpadではELBでなくHA Proxyをロードバランサとして使用しているとのこと)に紐づける

オートスケール Instance-hour(AWSの場合、1時間単位の課金)を最小化するのがコスト的に大事。

ELBは以下理由で使っていない。

  • 1分後に反映
  • Graceful Terminate問題
    • 10から8にAuto-Scallingした際、2インスタンスがTerminateされるのだが、ELBがTerminateされたインスタンスに振り向かれて、エラーになる問題

上記問題があり、HA Proxyを利用している。

cookpadの場合、業務時間内しかデプロイしていけない、デプロイ後1時間は待機というルールがあるので、Auto-Scallingでロックする回数をうまく調整している。

Infrastructure as Codeと組織のドキュメンテーション+Immutable Infrastructureの事例
澤登 亨彦[HiganWorks LLC]

作成準備中

※4月に、「Chef活用ガイド」の書籍が発売される予定。ただし、入門本でなく、書籍に記載されたものをそのまま使えるものではないので注意。Chef入門本は他を参照するのがよい。

プロビジョニング&デプロイ on AWSのキホン

吉羽 龍太郎 [アマゾンデータサービスジャパン株式会社]

アプリケションデプロイ、監視サーバーに登録も含めて、どう自動化する主眼を置いた話。
クラウドの場合、SDKでサーバーを操作できる。
コードでインフラを記載するのが、当たり前になる。コードが手順書になる。
コードだと、他のプロジェクトに再利用もできる
自動化しない
  • 手順書がメンテナンスされない
  • マニュアル作業で間違う。1,2台だったら、問題ないが、10.20台だとミスもある
  • 職人芸依存
  • リリース失敗→チェックリスト追加→チェック項目が増えていく

AWSでは、故障を前提として設計が要

  • SPOF N.G.
  • 疎結合コンポーネント
  • リブートしてもシステムに影響ない設計
  • ELBにあげられるように並列処理、マルチスレッドに対応した設計

監視についても、Auto-Scallingによって、自動で対象から外れる仕組みが必要。

監視サーバーとして、Sensu http://sensuapp.org/ について紹介されていました。

Active Directory on AWS
吉松 龍輝 & 渡邉 源太
アマゾンデータサービスジャパン株式会社

ドメインコントローラの配置パターン
  • AWSとオンプレに配置
    • FSMO をどこに配置するかがポイント 環境、ネットワークによって変わる
  • AWS上のみ配置
    • リストアに注意が必要!
AWS上に配置するドメインコントローラは、現在稼働中のADドメインのドメインコントローラで構築ことが重要。
ADの設計において
  • VPN/DirectConnect 、N/Wレイテンシー、スケジュールにかかる時間
  • サイト間複製 180分
  • サイトを分けた場合は、サイト間複製、複製トポロジが意図したもので作成されているかポイント

グローバルカタログは、Exchange Serverを構築する際必要

DNSについて

  • DC上のDNSのフォワーダーがAWSが提供するDNSを設定する ※SRVレコード
  • DHCP Options Setの利用
    • ntp-serverは空欄。時刻同期は、PDCエミュレータがドメインに展開するため。こうしないとkerberos認証に影響が出る恐れがある

リストアについて

  • iスナップショットからリストアを取った場合、USNロールバックになってしまい、すべて再構築する羽目になる恐れ。
  • ディレクトリサービス復元モード(DSRM)は、AWSでは使えない。
  • ActiveDirectoryのゴミ箱機能は有効にする(デフォルトは無効)

全台破損からのリストア

  • バックアップデータから仮DC構築
  • ntdsutil metadata clleanup ゴミ情報をきれいに削除
  • AWS上でDC構築。仮DCからデータ複製
  • FSMOを仮DCからDCに移動
  • 仮DCを降格

AWSとIAMの連携

  • SAML2.0
  • IAM Management ConsoleでRoleをADと同じ名前で作成
  • ADのアカウントでManagement Consoleすることが可能になる

CloudFrontで実現するセキュアコンテンツ配信と効果のトラッキング
北迫 清訓 & 今井 雄太
[アマゾンデータサービスジャパン株式会社]

CloudFrontのSigned URLについての話。Signed URLを利用することで、期間指定で公開する等が可能になる。

  • HTTPS以外受け付けないものも可能
  • 期間を指定したURL
  • カスタムポリシー
  • ワイルドカード許可コンテンツパス(特定URLすべて使用可)

CloudFrontが実力を発揮するのは、動画配信。

そこで、HLS  Live Streaming

  • HLSの売りは、WEBサーバーがあれば配信可能
    • 元の動画をセグメンターで分割要
  • マニフェストファイルの漏洩には気をつける (AWS encryptionを利用しているが暗号が解除される場合あり)
  • Cache-controlヘッダを調整。w-maxageを長めにして、大規模配信にも可能
  • マニフェストファイルは適時更新が要。Cloudfront Distributionは同一パスで
  • プレミアムコンテンツの保護にも利用できる

CloudFrontのレポート機能 ※2/14にリリース

  • 地域別アクセス、キャッシュヒット率、トラフィックスルーピットなど
  • キャッシュヒット率は今後対応予定

Cloudfrontのログ解析を自前でも解析可能

  • S3に保存したCloudfrontのログをS3DistCopyなどでEMRで分析

JAWS DAYSでは、javascript aws sdk + DynamoDBで分析結果をグラフで表示するデモが行われました。

2014年AWSイベントスケジュール
5/14-16 Cloud Comuting Expo Tokyo
6/18-19 Cloud Days Kyushu
6/25-26 Cloud Days Nagoya
7/17-18 AWS Summit tokyo ADSJ主催
10/15-17 Cloud Days Tokyo Fall
10/30 Cloud Roadshow Sapporo ADSJ主催
11/6 Cloud Roadshow Fukuoka ADSJ主催
11/10-16 re:Invent 2014
11/25 Cloud Roadshow Nagoya ADSJ主催
12/2 Cloud Roadshow Osaka ADSJ主催
Cloud Roadshow は地方版AWS Summitとのこと。Cloud Roadshowは詳細は出ていません。やることは確定。

コメントは受け付けていません。