7/25 産業技術大学院大学で行われた　July Tech Festa 2015に行ってきました。

以下のセッションに参加しました。

IoT時代のデバイスクラスタHashicorp consulを用いたIntel Edisonクラスタの構成

fogとクラウドどう役割分担させるのがポイント。fogはリアルタイムの処理を行い、クラウド側では大量データ蓄積、分析・学習に利用する。

実際構築したシステムの技術の解説。MQTT、Wi-Fi Mesh Network、Consul

MQTTは、TLSで暗号化が推奨。

Wi-Fi Mesh Networkは、SPOFにならないとか良い点もあるが、デフォルトカーネルでは動かず、カーネルビルドが要。→

Consul 運用自動化ツール。Wi-Fi  Mesh Networkと相性が良い。Go 1.4 x86 32bitのバイナリで動かせる。

真剣にDocker運用を考える人に、各種監視ツールとサービスを比

Dockerの監視を自作(DIY)で、それとも、SaaSの監視サービスでまかないか。

Docker  Containerの監視粒度は、1回/5分では不十分。1データ/1秒、一年間保存位しないとNG

CloudWatchの監視粒度とかではDocker Containers監視は不十分ということに。

Docker Containers監視を自作(DIY)で求められる監視粒度が満足できればいいが、そうは簡単ではない。

SaaS系の監視サービスだと、サービス終了した場合はどうするか個人的には気になる。

New Relic、App Dynamics、Mackerel、Signakfx、libratoについて、一丁一端がある。

DatadogがDocker Containers監視については現状ベストとのことに。

今話題のAnsibleのモジュールをゼロから自分で作ってみよう

標準で提供されているモジュールだけでも十分だが、かゆいところまでしたい場合はモジュールを作成する。

本当に足りない機能をモジュールで作成するのがいい。(今回のセッションではSolarisのホスト名変更が標準では対応していないので、モジュールを書いて、pull requestした話がありました。）

開発したモジュールを標準モジュールに取り組んでもらうには、いくつかのルールがある。説明、利用例に準拠させる必要がります。

仮想化とストレージの新しい形！ハイパーコンバージインフラの技術解説

オンプレのストレージ仮想化は、スモールスタートしずらい

安価なストレージ仮想化では、SANのポート、ストレージヘッドの性能に制限

拡張する場合、非効率なサイロ化

そこで、ソフトウェア処理で何とかするのが、Nutanix

Googleが描く、MapReduceを超えたビックデータの世界

Googleのコンテナ技術Borg

Google BigQuery

Googleも初期には、oracleとかRDBを使っていたが、膨大なGooogle検索のインデックスを管理するPBサイズになり、対応しきれなくなったとのこと。BigQueryのサービスが生まれた。インフラをあまりしらないユーザも使える。最適化されていたクエリ（糞クエリ）も高速で実行が可能。管理者不要、パフォーマンス劣化がない

1,000億行Read(フルスキャン)しても、20秒かからない。

RDBだと、一台のマシンで1日かかることも。

BigQueryがなぜ速いのかの説明。カラム指向ストレージ。カラム毎に異なるストレージに入れるので、クエリ実行効率、圧縮効率もいい

数千台のサーバーで並列実行。他のクラウドだとマネできない。

RasPiからBigQueryにも。fluent-plugin-bigqueryを使う場合、GCEだと、AWSでいうIAM Roleに相当する自動でアクセスするcredentailsを取得する仕組みがRasPiとかIoT deviceだと使えないのが課題。

Google Dataflow

機械学習（Machine Learning）

実行環境側でshared。Kinesisの場合、sharedをKinesis Streamを作成する際、指定する必要があるが、スケールも自動でしてくれる。