クラウドインフラ構築記

現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。

GCP Next World Tour in Tokyoに参加しました。 #GCPNext

9/6  GCP(Google Cloud Platform)のグローバルイベント GCP Net World Tour in Tokyoが開催され、参加してきました。

  • 基調講演

東京リージョンは2016 Q4に開設予定で現在最終テスト中。2016/10-12のどこかてことか

Googleのデータセンターは他のクラウド事業者とは違う。

サーバーレスアーキテクチャーがGCPの多くのサービスで取り入られている

What’s the Best Cloud? Probably GCP    https://t.co/l66Gz5L5sw

セキュリティも各種認証を取得済み。2段階認証、データ損失防止、楕円曲線暗号ECC 、デフォルト暗号化

AbemaTVもGCPを基盤として採用。障害とか品質を考慮して選定したとのこと。AbemaTVも東京リージョンには期待している。

IMAG0485

  • Google の機械学習技術で実現する「賢い」アプリケーション

Googleの幅広いサービスですでに使われている。RankBrain等に。

Google 会長「5年後には大型IPOの成功は機械学習によるものになる」

株式会社オモロキ ボケてでのCloud vision Safe Search Annotationを使って、不健全画像投稿の自動検知

  • Cloud Dataflow と Cloud Pub/Sub によるリコメンドのためのストリーム処理基盤

Spotifyのイベント処理基盤

Spotifyを現在kafka 0.7で構築されているが、データ量増大で悩まされている

システム再設計で、Cloud dataflows、kafka 0.8等の検討が行われた。

Reliable Persistent Queueの設計が根幹

Cloud Pub/Sub 未配信データを7日間は保持。一度は送信することが保証

PoCで2,000,000 イベント/secの性能が出たとのこと

https://t.co/uJteFScR2G

Scala API for Google Cloud Dataflow ( Apache Beam) https://github.com/spotify/scio

  • 事例紹介(ゲーム業界の方必見!GCP のすごいところ)

GKEでセキュリティパッチとか開発環境、本番環境の環境差分の解消

  • Google Cloud Platform で大幅強化された Firebase
  • Google Container Engine と Kubernetes で無理をしないコンテナ管理

Containers 基盤としてlmctfy が公開されたが、使い勝手のいいものではなかった。https://github.com/google/lmctfy

kubernetesの誕生。ギリシャ語で、「操舵手」「統治者」「人工頭脳」という語の語源。

複数のクラウドで動作可能。100% OSS。ベンダーロックインが避けられる。

Github上の開発も活発。上位0.01%。関連プロジェクトで1,200以上のk8sのプロジェクトが動いている。

AbemaTV

[slideshare id=65760479&doc=pdf-160907020657]

  • Alpine Linux
  • docker 1.9.1
  • Kubernetes 1.2.0

Dockerレジストリ、クラスタのスケールが容易、Stackdriver loggingによるログ管理がポイント

Podのスケール設定だけは、現状手動てこと。 kubernetes Horizontail Pod Autoscaling

 

参加してみて、ビックデータ系だと、Google cloud Platformの優位なことが改めて実感された。

番外編として、bq_sushiと、Google尽くしの1日でした。

 

IMAG0486

コメントは受け付けていません。