9/6 GCP(Google Cloud Platform)のグローバルイベント GCP Net World Tour in Tokyoが開催され、参加してきました。
- 基調講演
東京リージョンは2016 Q4に開設予定で現在最終テスト中。2016/10-12のどこかてことか
Googleのデータセンターは他のクラウド事業者とは違う。
サーバーレスアーキテクチャーがGCPの多くのサービスで取り入られている
What’s the Best Cloud? Probably GCP https://t.co/l66Gz5L5sw
セキュリティも各種認証を取得済み。2段階認証、データ損失防止、楕円曲線暗号ECC 、デフォルト暗号化
AbemaTVもGCPを基盤として採用。障害とか品質を考慮して選定したとのこと。AbemaTVも東京リージョンには期待している。
- Google の機械学習技術で実現する「賢い」アプリケーション
Googleの幅広いサービスですでに使われている。RankBrain等に。
Google 会長「5年後には大型IPOの成功は機械学習によるものになる」
株式会社オモロキ ボケてでのCloud vision Safe Search Annotationを使って、不健全画像投稿の自動検知
- Cloud Dataflow と Cloud Pub/Sub によるリコメンドのためのストリーム処理基盤
Spotifyのイベント処理基盤
Spotifyを現在kafka 0.7で構築されているが、データ量増大で悩まされている
システム再設計で、Cloud dataflows、kafka 0.8等の検討が行われた。
Reliable Persistent Queueの設計が根幹
Cloud Pub/Sub 未配信データを7日間は保持。一度は送信することが保証
PoCで2,000,000 イベント/secの性能が出たとのこと
Scala API for Google Cloud Dataflow ( Apache Beam) https://github.com/spotify/scio
- 事例紹介（ゲーム業界の方必見！GCP のすごいところ）
GKEでセキュリティパッチとか開発環境、本番環境の環境差分の解消
- Google Cloud Platform で大幅強化された Firebase
- Google Container Engine と Kubernetes で無理をしないコンテナ管理
Containers 基盤としてlmctfy が公開されたが、使い勝手のいいものではなかった。https://github.com/google/lmctfy
kubernetesの誕生。ギリシャ語で、「操舵手」「統治者」「人工頭脳」という語の語源。
複数のクラウドで動作可能。100% OSS。ベンダーロックインが避けられる。
Github上の開発も活発。上位0.01%。関連プロジェクトで1,200以上のk8sのプロジェクトが動いている。
AbemaTV
[slideshare id=65760479&doc=pdf-160907020657]
- Alpine Linux
- docker 1.9.1
- Kubernetes 1.2.0
Dockerレジストリ、クラスタのスケールが容易、Stackdriver loggingによるログ管理がポイント
Podのスケール設定だけは、現状手動てこと。 kubernetes Horizontail Pod Autoscaling
参加してみて、ビックデータ系だと、Google cloud Platformの優位なことが改めて実感された。
番外編として、bq_sushiと、Google尽くしの１日でした。
