クラウドインフラ構築記

9/6 　GCP(Google Cloud Platform)のグローバルイベント GCP Net World Tour in Tokyoが開催され、参加してきました。

• 基調講演

東京リージョンは2016 Q4に開設予定で現在最終テスト中。2016/10-12のどこかてことか

Googleのデータセンターは他のクラウド事業者とは違う。

サーバーレスアーキテクチャーがGCPの多くのサービスで取り入られている

What’s the Best Cloud? Probably GCP    https://t.co/l66Gz5L5sw

セキュリティも各種認証を取得済み。2段階認証、データ損失防止、楕円曲線暗号ECC 、デフォルト暗号化

AbemaTVもGCPを基盤として採用。障害とか品質を考慮して選定したとのこと。AbemaTVも東京リージョンには期待している。

• Google の機械学習技術で実現する「賢い」アプリケーション

Googleの幅広いサービスですでに使われている。RankBrain等に。

Google 会長「5年後には大型IPOの成功は機械学習によるものになる」

株式会社オモロキ　ボケてでのCloud vision Safe Search Annotationを使って、不健全画像投稿の自動検知

• Cloud Dataflow と Cloud Pub/Sub によるリコメンドのためのストリーム処理基盤

Spotifyのイベント処理基盤

Spotifyを現在kafka 0.7で構築されているが、データ量増大で悩まされている

システム再設計で、Cloud dataflows、kafka 0.8等の検討が行われた。

Reliable Persistent Queueの設計が根幹

Cloud Pub/Sub 未配信データを7日間は保持。一度は送信することが保証

PoCで2,000,000 イベント/secの性能が出たとのこと

https://t.co/uJteFScR2G

Scala API for Google Cloud Dataflow ( Apache Beam) https://github.com/spotify/scio

• 事例紹介（ゲーム業界の方必見！GCP のすごいところ）

GKEでセキュリティパッチとか開発環境、本番環境の環境差分の解消

• Google Cloud Platform で大幅強化された Firebase
• Google Container Engine と Kubernetes で無理をしないコンテナ管理

Containers 基盤としてlmctfy が公開されたが、使い勝手のいいものではなかった。https://github.com/google/lmctfy

kubernetesの誕生。ギリシャ語で、「操舵手」「統治者」「人工頭脳」という語の語源。

複数のクラウドで動作可能。100% OSS。ベンダーロックインが避けられる。

Github上の開発も活発。上位0.01%。関連プロジェクトで1,200以上のk8sのプロジェクトが動いている。

AbemaTV

• Alpine Linux
• docker 1.9.1
• Kubernetes 1.2.0

Dockerレジストリ、クラスタのスケールが容易、Stackdriver loggingによるログ管理がポイント

Podのスケール設定だけは、現状手動てこと。 kubernetes Horizontail Pod Autoscaling

参加してみて、ビックデータ系だと、Google cloud Platformの優位なことが改めて実感された。

番外編として、bq_sushiと、Google尽くしの１日でした。

Cloud SQL Second Editionの特徴から

• On Demand activation policy サポートされていない。Always On/Off
• IPv6 未サポート
• Storage Engineは、InnoDB
• GTID replication
• MySQL 5.6/5.7　デフォルトは5.7
• ディスク自動拡張

First Generationだと、UIからDBユーザを作成できたのですが、Second Editonではrootのパスワード変更以外DBユーザは作成できなくなっています。
For Second Generation instances, you cannot create and administer MySQL user accounts and databases from the console. You use the MySQL Client administration tool to manage users and databases.

x16 CPUを使用する場合、Amazon Auroraよりパフォーマンスが優れている結果も。

インスタンスを作成後、rootパスワードを設定

gcloud sql instances set-root-password [INSTANCE_NAME] --password [ROOT_PASSWORD]

Cloud Shellからだと、自動的に許可ネットワークに追加してくれます。

gcloud beta sql connect [INSTANCE_ID] --user=root

create database webdb default character set utf8

First Generationで使用していたユーザを作成する

create user cmsuser identified by 'passworsd'

grant all privideges on webdb.* to `cmsuser`@`%`

First Generationのデータベースをエクスポート

※エクスポートするデータベースを指定。指定しないとmysql等システムデータベースもインポートしようとします。

9/1に、OSSユーザの勉強会 TensorFlow編でGoogle 中井様(@enakai00)から、jupyterでTensorFlowの話がありましたので、jupyter　notebookをUbuntu 14.04に、jupyter notebook & TensorFlowをインストールしてみました。

まずは、pythonのバージョン管理にpyenvをインストール

git clone https://github.com/yyuu/pyenv.git .pyenv

pyenv install 2.7.9

pyenv local 2.7.9

各種プラグインを取得

cd ~/.pyenv/plugins
git clone https://github.com/yyuu/pyenv-virtualenv.git
git clone https://github.com/yyuu/pyenv-virtualenvwrapper.git

TensorFlow用に2.7.11をインストール

pyenv install 2.7.11
pyenv virtualenv 2.7.11 TensorFlow

pyenv versions

 system
2.7.11
2.7.11/envs/TensorFlow
2.7.9
* TensorFlow (set by /home/hiruta/.python-version)

TensorFlowをインストール

mkdir -p tensorflow ; cd tensorflow

pip install -U https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.10.0rc0-cp27-none-linux_x86_64.whl

jupyterのインストール

pip install -U matplotlib jupyter

それで、ipythonが使えるようになっています。

jupyterは下記モジュールがないと起動できないので、インストールしておきます。

sudo apt-get install libsqlite3-dev

pip install -U pysqlite

デフォルトでは、リモートからの接続できないようになっているので、設定変更が必要

jupyter notebook --generate-config

ipython

ハッシュしたパスワードを生成しておきます。

In [1]: from notebook.auth import passwd

In [2]: passwd()
 Enter password: <パスワードを入力>
 Verify password: <パスワードを再入力>
 Out[2]: 'sha1:<ハッシュ化されたパスワード>'

cd ~/.jupyter/

vi ~/.jupyter/jupyter_notebook_config.py

c.NotebookApp.ip = '*'
c.NotebookApp.password = u'sha1:602f13266797:7ff1aed8351ad03b03e06facfd67bc2649717b7e'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 8888

c.NotebookApp.ipでクライアントIPで制限もできますが、今回は全て許可にしています。

jupyterからGoogle Cloud Visionを利用するのに、下記pythonモジュールを導入しておきます。

pip install httplib2

pip install Image

pip install --upgrade google-api-python-client

Cloud visionのnotebookをgit cloneしておきます。

git clone https://github.com/enakai00/jupyter_gcp.git

 cd jupyter_gcp

 jupyter notebook 

juoyter notebookは、Google Datalabでも使えます。（Google DatalabはLaunchできないなど不安定な場合があります）

getSerialPortOutputでもboot時のメッセージは確認はできますが、この方法だとread-onlyで、アクションを実行させることはできない。

シリアルコンソール接続てものが。

シリアルポート接続の有効化は以下コマンドで完了。

gcloud compute instances add-metadata [INSTANCE_NAME]  \
    --metadata=serial-port-enable=1

シリアルポート接続を有効にすると、Enable connecting to serail portsが有効化されます。Web UIでは有効にできなそう。

firewall ruleで22/tcpを閉じた状態でもコンソールのログインプロンプトが出ます。

https://cloud.google.com/compute/docs/instances/interacting-with-serial-console

注意書きにも書かれていますが、SSH鍵、IPアドレス、GCPプロジェクト名がわかっているとどこからでも接続できてしまう。IPベースのアクセス制限に対応してないとのこと。

昨日GCPUG信州の機械学習がテーマの勉強会に参加してきました。

Google Cloud Platform概要

• Googleのデータセンターの電力管理も、GoogleDeepMindにて、40%の削減
• Googleのサーバーはリソース状況により、どのサービスに使われるか変わる
• Googleのデータセンターの使用効率も80%
• 1Pbpsのネットワーク
• Region とZone。現在5つ。日本リージョンも近々？
• AppEngineの起動は速い。Go言語だと40s位
• インスタンス使用時間により、自動割引。同じマシンタイプを合算して割り引きしてくれる
• Preemtible VMs Borgのプライオリティの低いサービスを利用
• GCEのインスタンス課金は10分単位。10～20分程度の利用時間だと、1H課金のクラウドに比べ、単純に計算するだけでも、コストは1/2

Speech API

• 文脈認識率は8割。Cortana、WindowsAPIはせいぜい3～4割※単語レベルは高いが。
• US方言も。ただ、日本語の方言は対応していない
• しゃべり言葉はあまりよくない？
• Cloud Natural language API

Speech API、βリリースにあたり、長い時間の音声ファイルの認識に使えるAsyncRecognizeの新機能が。gRPCプロトコルを使用している

TensorFlow

• PythonAPI、C++ APIが提供されているが、Python APIを使うのがよさそう
• 並列分散処理を簡単に実装できる。
• アルゴリズムを実装する道具、位置づけ
• APIも豊富 https://www.tensorflow.org/versions/r0.9/api_docs/python/index.html
• TensorFlow独自のプロセッサーを作成していた（TPU）。AlphaGoも使用されていた。
• ただ、GCEには、GPUインスタンスがない。GPUはCloud Machine Learningでは使えるとのこと。現在Limit Preview

CloudVisionAPIをIoTに

• プライバシー保護が重要。人の顔にマスク（モザイク）を掛ける
• ＡＰＩベースなので、リソースが限られたRaspberryPiとかに有益

Docker

• コンテナの粒度はアプリ単位
• SwarmがDocker Engineに統合されたので、kubernatesとの使い分けはどうするか。今は過渡期

GCEをTensorFlow計算エンジン

• パーセプトロン
• バックプロパゲーション
• 畳み込みCNN。画像認識に使われている
• 過去にもネオコグニトロンと同等の機能があったが、ネットワークの性能、ＣＰＵパワーとかが当時に比べて向上したことで、DeepLearningが進化
• gcloud config-ssh ssh configurationに、インスタンスのaliasを登録してくれる。ssh <instance>.<region>.<project>でアクセスが可能に。Ansibleで複数インスタンスで学習自動化するのに役に立つ

CloudVisionAPI、Speech API、バックでは、DeepLearning技術は使われているので、Googleの基盤を少しわかった気がします。

待望の　Google Cloud Platform (GCP)にも、L4ベースInternal Load Balancingが登場。

Private IPアドレスのインスタンスでLoad Balancingも可能に。

まだ、使えないので、ドキュメントからわかる範囲で書いています。αサービスが使えるようになれば後日レポートします。

ドキュメントはこちらから。　https://cloud.google.com/compute/docs/load-balancing/internal/

主な特徴としては。

• リージョン内のインスタンスにアクセスが可能。リージョン跨ぎでインスタンスをロードバランシングできない模様
• ヘルスチェック ※133.211.0.0/22からの通信はFirewallなり許可しておく必要がる

もうPrivateなインスタンスのロードバランスの可用性に心配する必要がない

ユースケース

• 3-Tier Web サービス（アプリケーションレイヤー、バックエンドデータベース）
• データベースインスタンス他Internalなサービスのロードバランシング

Google Cloud Internal Load Balancingは、Andromeda network virtualization stack上に構築された lightweight load-balancing、インスタンスベースではなく、ソフトウェアベースのロードバランシング

気になる点

• Load Balancing用ＩＰの割り当て。手動とネットワーク内でＩＰを自動割り当てが可能？

gcloud alpha compute forwarding-rules create NAME --address ADDRESS --load-balancing-scheme internal 

• Load Balancing用に割り当てられるPrivate IPはスケールアウトにより、MAX IPアドレスを割り当てる？

–capacity-scaler,–max-rate,–max-rate,-per-instanceのオプションはinternal load balacingでは使えません。

alphaバージョンでは以下制限があるようです。

• 500インスタンスへのアクセスに制限
• next-hop IP
• VPNを通じた通信は行えない
• オンプレからInternal Load Balancingへの通信は未サポート

三層構造のアーキテクチャー、イントラネット向けWEBインフラなどの構築に使えると思われます。

Google Cloud Functionsで、Cloud Vision APIを使ってみました。Cloud Functionsを使う利点は、credentialsをアプリに埋め込む必要がない点（内部でAWSだとIAM Role的にcredentialsを取得してくれる。）

まず、ディレクトリの作成。

 mkdir visiontest; cd visiontest;

次に、ライブラリのインストール。node versionは、v0.12.7を使用。

 npm install --save gcloud 

node.jsのvision APIは以下を参照

https://googlecloudplatform.github.io/gcloud-node/#/docs/v0.36.0/vision?method=detectText

Cloud functionsのコードサンプルは以下になります。

var gcloud = require('gcloud')({
projectId: 'xxxxxxxxxx'
});

exports.visiontest = function (context, data){
var vision = gcloud.vision();
if ( data != null ){
var gcs = gcloud.storage();
var myBucket = gcs.bucket('vision-load-image');
var file = myBucket.file(data.name);

vision.detectText(file, function(err, text, apiResponse) {
console.log('text ', text);
data = null;

});
}
context.success();
}

functionｓをデプロイ。

gcloud alpha functions deploy visiontest --bucket deploy-bucket --trigger-gs-uri vision-load-image

以前デジカメで撮影した画像をGCSバケットにアップロード。

gsutil cp IMAG0105.jpg gs://vision-load-image/

Stackdriver loggingに、解析結果が表示されることがわかります。おもけに、精度も高い。コマンドでアップロードする場合は、1度のみ実行されるのだが、Cyberduckで画像ファイルをドラッグドロップすると、なぜうか2回functionsが実行される。

GCSに登録された画像を画像解析結果をBigQueryに蓄積していくようなことが可能になります。

安価なＯＣＲシステムが構築できる！？チュートリアルも公開されています。

https://cloud.google.com/functions/docs/tutorials/ocr

今はまだnodeのAPIが公開されていないSpeech APIもよくよくは使えるようになるのかなあ。（GCSに音声ファイルをアップロードすると、音声ファイルを解析して結果を返すとか）

2016/9/22 Update

packages.jsonをデプロイするフォルダに置いておけば、npm install –save gloud等不要です。

Limit PreviewのGoogle Speech API少し使ってみました。

音声マイクとしては以下を利用。

サンワサプライ フラット型PCマイク MM-MC23

まずは、SoX Sound eXchangeをダウンロード

https://sourceforge.net/projects/sox/files/sox/14.4.2/sox-14.4.2-win32.zip/download

次に、ダウンロードしたSoX Source eXchangeを適当なフォルダに展開

rec.exe、play.exeをsox.exeをコピーして作成

copy sox.exe rec.exe

copy sox.exe play.exe

AUDIO DEVICE DRIVERの環境変数の設定を行います。

set AUDIODRIVER=waveaudio

rec -c 1 -r 16k output.wav

そこで、マイクから音声を録音し、FLAC形式に変換まで行っておきます。

sox output.wav output.flac

Speech API用のサンプルを取得します。

REST APIでSpeech APIを使用することもできますが、この場合、publicな権限がないとGCS上の音声ファイルを読み込むことができないので、publicでないGCSバケットの音声ファイルを解析するには、下記サンプルのようにcredential認証をアプリケーション内部で行う必要があります。

git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git

日本語を解析させるには、python-docs-samples/speech/api/speech_gcs.pyで一カ所修正する必要があります。変更内容についてはクローズな情報になっていますので、ここでは記載は差し控えます。

python speech_gcs.py gs://xxxxxxxx/output.flac gs://xxxxxxxx/output.txt

レスポンス待つことなく返ってきます。おまけに高精度で。

$ cat output.txt
{
"responses": [ {
"results": [ {
"alternatives": [ {
"transcript": "おはようございますこんにちは",
"confidence": 0.95833784
} ],
"is_final": true
} ]
} ]
}

言語コードの設定をしないと、『ohayo gozaimasu konnichiwa』となります。
Speech APIの言語も、英語、日本語をはじめ、90言語近くに対応しており、今後Google Homeとのバックエンドに使われそうな予想はしています。