クラウドインフラ構築記

instance groupを使う場合、instance templateが必要になり、なんらかでinstance templateの更新が必要になった場合、インスタンスの再立ち上げなり必要になります。今回試したのが、無停止でインスタンスの更新を行えるRolling Updateになります。

https://cloud.google.com/compute/docs/instance-groups/manager/

変更前のインスタンステンプレートを作成します。

gcloud compute  instance-templates create demo-instance-template-1 --machine-type n1-standard-1 --network product-network --maintenance-policy MIGRATE --scopes "https://www.googleapis.com/auth/compute" "https://www.googleapis.com/auth/devstorage.read_write" "https://www.googleapis.com/auth/bigquery" "https://www.googleapis.com/auth/sqlservice.admin" "https://www.googleapis.com/auth/logging.write" --image centos-7 --boot-disk-type pd-standard  --metadata startup-script-url=gs://h-private-auto/startup_demo.sh --boot-disk-device-name demo-instance-template-1

インスタンスグループを作成します。

gcloud preview managed-instance-groups --zone asia-east1-a create demo-instance-group-1 --base-instance-name demo-instance-group-1 --template demo-instance-template-1 --size 2

HTTPロードバランサーのためのヘルスチェックを作成します。

gcloud compute  http-health-checks create "demo-health-check" --port "80" --request-path "/index.html" --check-interval "5" --timeout "5" --unhealthy-threshold "2" --healthy-threshold "2"

HTTPロードバランサーを作成しておきます。

gcloud preview instance-groups --zone asia-east1-a add-service demo-instance-group-1 --port 80 --service http

 gcloud compute backend-services create demo-web-service --http-health-check demo-health-check

gcloud compute backend-services add-backend demo-web-service --group demo-instance-group-1 --zone asia-east1-a

gcloud compute url-maps create demo-web-map --default-service demo-web-service

gcloud compute target-http-proxies create demo-web-proxy --url-map demo-web-map

gcloud compute forwarding-rules create http-rule --global \
    --target-http-proxy demo-web-proxy --port-range 80

ロードバランサにExternal IP (グローバルIPアドレス）が割り当てられます。
変更後のインスタンステンプレートのためのstartup scriptを作成します。

#! /bin/bash

timedatectl set-timezone Asia/Tokyo

PRIVATE_IP=`curl "http://metadata.google.internal/computeMetadata/v1/instance/network-interfaces/0/ip" -H "Metadata-Flavor: Google"`
INSTANCE_ID=`curl -s http://metadata.google.internal/computeMetadata/v1/instance/hostname -H "Metadata-Flavor: Google" | cut -d "." -f 1`

yum -y install httpd
service httpd start

cat >/var/www/html/index.html <<EOF
renew $INSTANCE_ID
EOF

変更後のインスタンステンプレートを作成します。

gcloud compute  instance-templates create demo-instance-template-2 --machine-type n1-standard-1 --network product-network --maintenance-policy MIGRATE --scopes "https://www.googleapis.com/auth/compute" "https://www.googleapis.com/auth/devstorage.read_write" "https://www.googleapis.com/auth/bigquery" "https://www.googleapis.com/auth/sqlservice.admin" "https://www.googleapis.com/auth/logging.write" --image centos-7 --boot-disk-type pd-standard  --metadata startup-script-url=gs://h-private-auto/startup_demo_2.sh --boot-disk-device-name demo-instance-template-2

set-templateでインスタンステンプレートを変更することも可能ですが、こちらだとインスタンスは自動では変更になりません。

 gcloud preview managed-instance-groups --zone asia-east1-a  set-template demo-instance-group-1 --template demo-instance-template-1

インスタンステンプレートのローリングアップデートを行うには、下記のようにします。インスタンスが起動立ち上がってくる時間を考慮する必要があるので、–min-instance-update-timeオプションを指定しています。(このオプションを指定しないと片方のインスタンスが準備ができる前にもう片方のインスタンスの更新が始まり、Server Errorが起きました）

 gcloud preview rolling-updates --zone asia-east1-a start --group demo-instance-group-1 --template demo-instance-template-2 --min-instance-update-time 360s

5秒間隔でcurlコマンドにてhttpアクセスを定期的にしましたが、アクセスエラーを起こすことなくインスタンステンプレートの更新が行えました。※AWSのAutoScalingでは実現されていない機能。AWSでは、ElasticBeanstalkを使うことでRolling Updateが可能のようです。

Instance Group Update ServiceのAlpha versionでも将来仕様が変更になる場合があるかもしれません。

本日のGCPUG in Fukuoka 1st でした。（初福岡でもありましたけど）

「Google BigQueryとCloud Dataflowでかんたんビッグデータ分析」Google デベロッパーアドボケイト 佐藤 一憲氏　@kazunori_279

google検索のためのソフトウェア開発を10年ほどやってきた

市販のDBではまかないきれない

ベストなファイルシステムを作っていこう

GFS、MapReduce

1億人のアクセスログをjoinするとか、普通のDBだと止まる

けど、MapReduceは処理できてしまう

ものすごい規模で展開されている

Google 検索のインデックス規模は100PBを超えている

BigDataとの戦い

ログも何十TB

 

Adword 広告のサービス

APIのログを取ってみても、何TBになる

内部的には、Dremelのテクノロジ

Dremelのテクノロジを外のお客様に公開 = BigQuery

 

BigQueryについて

hadoop、MapReduce

百台のマシンにばらばらにして、データの整列とか並列に

安いサーバーでも並列で何百台で処理

簡単に使える。普通のSQLで

非エンジニアでの利用が多い。Google社内では。

他のユーザへの影響もない。

パフォーマンスも圧倒的に多い

デモ　サンプル wiki10B wikiのデータを100億行のデータが入っている

 

タイトルに、「あいうえお」正規表現で実行

3s キャッシュオフでも

 

Storageのコストと検索のコスト

BigQueryは、S3より安い。ログをBigQueryに入れる案件も

 

アウトプットにGoogle スプレットシートで分析もできる。

 

Hadoop の解析結果をHBaseに入れる必要がある

 

Hadoopのプログラムテーブルに対して処理することができる

 

BIツール「BIME」について

BigQueryはあらかじめインデックスを作っておく必要がない

 

なんで速いのか

データ分析用のデータベース

行の更新はできない

行の追加のみ

ログ

カラム単位で違うディスクに入れておくカラムベースストレージ

スコアだけ集計したいとき、ストアデータだけ読んできて解析

何千台のサーバーを自由で使える

Googleのサーバーは用途で分けていない

他のクラウドベンダーではありえないこと

全てのサーバーはGoogleのサービスに共有できる

Google検索の仕組みをそのまま使ったのがBigQuery

他社のクラウドベンダーには難しいのでは

100億行のデータ　+ join + 10億行でhadoopでやろうとすると数十分

BigQueryだと、3min

Fluendとの組み合わせが便利

Dataflow

Dataflowは現在は、α版。ただβも近いうちにリリースされるとのこと。

BigQueryにデータをインポートする必要がある

データによっては、クレンジングが必要なデータもある

ETL データをリードして、不要なデータをはずすとか

Flume MapReduceの上で動くフレームワーク

MapReduce

処理が多段に。

多段の処理を組み立てるのがめんどくさい

データのパイプラインをプログラムコードで書く。MapReduceで自動生成　→Flume

何台くらいで動かすのか最適化も自動でやってくれる

最適な台数を見つけるのに、MapReduceを何台か回す　→Flumeが勝手にやってくれる

 

MilWheel ストリーム処理

広告基盤でリアルタイム処理する必要。インプレッションとか

リアルタイム集計したい

 

flume、MilWhelをベースに作り直したのがDataflow

 

Full Managementで提供すたのがDataflow

 

バッチ処理、ストリーミング処理も。複数のDBを統合も

関数プログラミングで

バッチとストリーム処理両方に適用

運用コストも掛からない

SDKもオープンソース

実装を変えることもできる

 

GroupByKey

Sで始めるものとか実行できる

 

Fixed Windows 1hおき

Sliding ストリーミング

 

Direct Runner 手元で確かめる

Cloud Dataflow Service Runner

GCEインスタンス上で

 

Spark-dataflow

Dataflowを実装した例も

 

過去のデータがGCS

結果はBigQuery上で

ユーザがビデオ見て終わるのを3minごとにWindowで集計する例

Pipelineの定義

テキストデータのparse

カンマ区切りのデータをばらす

アーカイブに保存

BigQueryのデータのカラムに入れる

ランキングを集計

を並列に

裏でGCEのインスタンスが起動して処理する

起動する台数は、キモ細かく制御できる。

DataflowのアーキテクチャーはAsakusa Frameworkに近いとのこと。Kinesisにも近そうだが、違な点も。

「Firebaseによるリアルタイムモバイル開発」Google デベロッパーアドボケイト Ian Lewis氏 @IanMLewis

時代は、モバイルにシフト

モバイルを使っているユーザが多い

パソコンと両方使っている人も多いが、モバイルにシフト

モバイル対応を考えるときに課題も

マルチデバイス　スマホ、タブレットそれぞれ iOS、Androidか多岐に渡っている

ソフトウェアも変わるので、開発も困難

これから、Wear、TV、自動車も

バックエンドサーバーも

初めての人が構築するのは難しい

モバイルは移動が前提なので、移動した場合にも対応も

 

そこで、Firebaseを使うとなぜ便利か

 

リアルタイムDB、ユーザ管理、ファイルホスティング

 

DBは、NoSQL

SQLを使わない。JSON

ミリ秒単位で更新

スマホ、Firebaseごとにデータを保持。それぞれsyncしている

データを保存するだけでsync

オフライン、ネットワークが不安定になっても、読み込んだりできて、接続したらsyncしてくれる

 

ユーザ管理も柔軟に

 

CDNも勝手にやってくれる

 

Npm install -g firebase-toolsでfirebase command line toolsを入れられる。（→ここ）

 

Firebase init セキュリティの設定とかかかれているjsonファイルが取得される

ファイルホスティング対象しないようにもできる

正規表現でマッチングすることもできる

 

Firebase deply アップロード

 

認証とオンライン状態

twiter側でアプリを作成。ClientIdを登録。認証用のCallbackでID、パスワードを入れて自分のアプリにリターン

 

ユーザがオンラインになったら、通知をしてくれる。モバイルの場合、ねっとわーくの状態が変わるので、この辺の設計が大変になるが、firebaseをネットワークの状態をみて、処理を書くことができる

 

課金プランは、コネクション数。

超えた場合は、アプリが動かなくなるのではなく、超えた分は課金される

 

Google docsのアプリのようなものを作るのは簡単

 

GCEハンズオンワークショップ 吉積情報 吉積礼敏氏

GCE + CloudSQLでwordpressを立ち上げるハンズオン。テキストは下記に公開されています。

goo.gl/ua5fQw

https://github.com/gcpug/gcp-demos

プロジェクトIDとプロジェクト名は同じにしておくといい。プロジェクトIDはGCP Commnad line toolsとかに利用するので。

ハンズオン形式なので、気になった点を2,3点

画面でもインスタンスを起動できるが、コマンドだと以下のようになります。

gcloud compute instances create handon-20150411-01 –machine-type n1-standard-1   –image “https://www.googleapis.com/compute/v1/projects/ubuntu-os-cloud/global/images/ubuntu-1404-trusty-v20150316”   –network product-network –boot-disk-type “pd-ssd” –zone “asia-east1-a”

ハンズオン途中で、gcloud compute instances createでVMインスタンス作る際、特定zoneでエラーになった。

– The zone ‘projects/XXXXXX/zones/asia-east1-a’ does not have enough resources available to fulfill the request. Try a different zone, or try again later.

ただ、ホテルに戻った後、再トライしたところ、問題なかったので、まれにインスタンスが起動できないことがある(とのこと)。

CloudSQLインスタンスを画面から作成。※ここだけは、コマンドが確認できない

RDSのインスタンス生成より劇的に速い。

cloud sql instances create wp-demo –region asia-east1 –assign-ip –authorized-network 107.XXX.XXX.XXX

5.6系はベータなので、GA Releaseを。

VMインスタンスに元々Google Command Line Tools ( gcloud )が入っているが、ただバージョンが古いとかasia-east-1 zoneを認識しない問題があるようです。

Manage Cloud SQL Instances by Cloud SDK →https://cloud.google.com/sql/docs/cloud-sdk

CloudSQLもCLIでReadReplica作成、バックアップWindowの設定などできる。

ただ、CLIによるDBユーザ追加のコマンドの記載がない。ハンズオンでは画面からDBユーザ作成を行った。ユーザ制御のCLIコマンドを探してはいるが、現状見つけられていません。

最後に。

BigQuery、Dataflowと「Big-DataはGoogle」と言えるほど、Googleのインフラ基盤はすごいと再認識できた勉強会でした。

Carrier Interconnectは現在テスト中とのこと。近々利用できるようなことも

3/28 産業技術大学院大学で開催されたクラウドごった煮勉強会参加レポートになります。

コンテナ技術は、GKEをはじめとするコンテナ管理ツールが充実、OSレベルでもRHEL Atomic Host、CoreOSと選択肢はできてきた印象。開発環境だけでなく、production環境にも採用してきている一番盛り上がっている技術でもある。

IBM Containers

IBMとDocker社と戦略的パートナーとして提携

IBM Bluemix(PaaS)上で提供されている。

SoftLayer上にPaaSを実装

Bluemix = Cloud FoundryベースのPaaS

Dockerの実行環境とプライベートリポジトリを公開している

Bluemix のホストは、SoftLayerのベアメタルサーバー上で動作している

iceがcf(CloudfoundryのCLIツール)とか隠蔽しているとのこと

 

RHEL Atomic Host

/varだけ書き換えられる。監視ツールを入れたい場合は、コンテナに。

Kubernetes and Google Containers Engine (GKE)

Pods 密結合したコンテナの集まり。

yaml に、いくつ起動するか記載して、コンテナが落ちた際に起動する

特定のIPアドレスを持たせる

数ヶ月のうちに、Versionは、1.0となるとのこと。

数十Podsを扱えるようになる。

Private リポジトリをCloud Storageに作成できる

DockerHubのプライベートリポジトリは参照できない模様。

AmazonLinux Docker Imageを、GCE上のdocker実行環境でrunするところまでは確認しましたので、GKEを使って上げ下げをトライ中。詳細は別記事にて記載します。

Docker Machine

Apache Mesos

クラスタ環境の管理ツール

10,000スケール程度まで可

ヘッドノードを可用性で ZooKeeper

実行環境をジョブごとに変えられる

Mesos DNS

IPがわかっても、ポートがわからないと　ポート番号が分からないとアクセスできない

Rancher.ioを試してみる

[slideshare id=46435599&doc=rancher-150330021249-conversion-gate01]

クラスタを管理するシステム
Docker版Opn Stackのようなイメージ
リソースの監視もできる。

Docker run -p 8080:8080 rancher/server
ホストの追加はWEB UIで
導入は楽。コンテナが動けば動いてしまう。
コンテナで括っているので、拡張性がない
今はセキュリティグループはない。今後実装予定
https://github.com/stevef1uk/docker_for_rpi

Monitoring Docker with Mackerel

コンテナの監視もMackerelで。

Cgroup特有の情報は見えない
/sys/fs/cgroup/{cpuacct,memory}
リソース制御するのもこの辺をいじる
/sys/fs/cgroup/cpuacct/docker/{container id}/cpuacct.usage

メモリはcacheとかも
memory.stat

また、Radpberry Piでもmarchel agentは動く。

[slideshare id=46435598&doc=rpi-150330021248-conversion-gate01]

昨日開催されたベルサイド新宿グラウンドで開催されたJAWS-UG 1年に1度のビックイベント「JAWS DAYS 2015」に参加しました。JAWS-UG歴も振り返ってみました。

[Aceに聞け] cloudtrailとconfigによるセキュリティ強化のための第一歩

 

はじめてのIoT 〜 IoTデバイスとクラウドの素敵な関係 〜

IoTデバイスとクラウドを使ってセンサーハック 〜 データ可視化 〜

 

午前の部は、Edisonにサンプルのnode.jsをアップロード、ビルド、実行し、LEDセンサーが点灯するサンプル等を試しました。(1xGrove – Rotary Angle Sensorのトグルがoffになっていると点灯もされません。)

 

#jawsug #jawsdays #hack pic.twitter.com/tFTWH5wR0v

— s.hiruta (@web_se) 2015, 3月 22

午後の部は、Kinesis、Cognitoを使って、Edisonのセンサーから取得されたデータをグラフ化+S3にデータをアップロード/DynamoDBへのデータ挿入までハンズオン形式で行いました。

グラフ化とS3アップするKinesisアプリケーションを動かすEC2は分けるとグラフ化とデータ蓄積をマルチで行えます。午後Part 1のセッションでは、EC2 x1でしたので、ハンズオンでは、ここまでは確認はしませんでした。

Edisonを始めたい方は、Grove – Starter Kit for Arduinoも一緒に購入するのがお勧め。(今日購入しました。）

“モノ”をクラウドへつなぎやすくするための取組／技術／アーキテクチャ

IoT動向、海外イベントの話から、IoTアーキテクチャー

IoTは95年時代のインターネットのブームに似ている。生活家電にIoTデバイスが組み込まれ、インターネットに接続される時代が近い将来くる。収集・蓄積・分析のトライアングルが重要

IoT時代のデータ伝送とインフラに求められている機能

IoTのクラウドからの反応速度は、1秒。かなりシビアな用件が求められる。IoTゲートウェアに機能を詰め込みすぎず、最低限の機能で実装するのが求められる。設置場所も簡単に交換するのが難しいところに設置されるケースもあるので。（MDFの中とか）

cloudtrail以外には、IoTを中心というか、IoT一色になっていました。

午前の部のHack DaysがトグルがOFFになっているため、LEDが付かない原因に至るまで時間がかかりました。

最もリツイートが多かったツイートは

IoTのネットワークは、「運用でカバー」しずらい。どこで置かれているかわからないなど、Gatewayには機能を極力入れない。故障したら交換するのが。いろいろな要件が一杯。Gatewayは不変なことのみ実装。 #jawsug #jawsdays #mobile_big_iot
— s.hiruta (@web_se) 2015, 3月 22

IoTのネットワークは、「運用でカバー」で対応は難しいとのこと。ゲートウェイはシンプルに。(credeitalsキーをIoT deviceの中に入れるのは論外。Cognitoを使って、AWSサービスにアクセスする）

JAWS-UGの勉強会には、意外に一年半前に開催された

 でした。

ビックのイベントとしては、DAYSの他には、JAWS-UG三都物語てところ。（re:Invent 2014に去年初めて参加しましたが）
AWSのアカウント自体は、6-7年前には作っていた記憶が。（EC2-Classicが使える、Default VPCが使える。AWS CLIのハンズオンでは。。。）

最近は、Google Could Platformのユーザグループ「GCPUG」にも参加していますなど、個人的には、GCE、GCE Auto Scaler、GKE、Google Dataflowなど検証しております。

4/11にはこちらにも →ここ　(立ち見でいいのであれば今からでも申し込みできます) Google Dataflowの話とか、GCEハンズオンワークショップなどもかなり盛りだくさんの内容になります。