12/11　HPC on クラウドのセミナーに参加してきました。

HPC on クラウドを実現するビックデータ処理のご紹介

 

在庫管理、物流などをＩＴで
さまざまなシステムが有機的につながっている
ＩＴのリソースの用意　時間がかかっていた
購入、セットアップ
社内で稟議などで決めていた。無駄
必要名ときにプチとして使えないか
クラウドの原型

発電機をもつのが差別化要因では
電気を使って何を作っていくのが

大きなパラダイム
必要なときに使う。より速く、簡単に、安くを実現

今まで出来なかったことができるようになる
改善、イノベーションも

2006/3/14 Amazon S3発表

去年は280
今年は、500を超える位の新機能の追加

ＥＣ２使用率　年率99%の成長率

いろんなIOS9001等の認証を取得

StartClusterをOnc-Commandで作成管理する (http://utility onnpass.com/event/9512/)

HPCの構成

• ヘッドノード
• 計算ノード
• ストレージノード lustre OrangeFS
• ＷＡＮの高速化ソリューション skeed , aspera

 

c3.8xlarge 1,656ノード
484.2 TFLOPS
TOP5000 64位 NOV 2013
一時間当たり約29万円

実行性能が上がってきている。Efficiency
レイテンシーで性能変わっている。レイテンシが短くなっている

ＡＷＳ専用に強化されたＣＰＵを搭載したＣ４インスタンス発表

空く具合で定価の1/10で利用可能

現行だと1.8倍速くなっています。 c3 > cr1

オンプレよりもC3の方が速い

GPUインスタンス
Ｈｏｕｒ単位で
グラフィックスで使えるのかお試しでも
G2 + XenApp
クラウド上のＧＰＵで

HPCの紹介

• CieSpace
  AWSでSaaS
• OpenFormで計算
  流体形跡
• PLEXUS CAE
  ブラウザだけで計算
• NEC HPC Online
  計算リソース
• VT-HCM2
  VisualTechnology

HPCクラウドを支えるインテルの技術

 

ビジネスを効率化するツールからビジネスそのものになってきている
コンシューマーから発信してくるデータが増えてきている
IoT、センサーからのデータ
街角のカメラ
工場の中のデータ
増えてきている

膨大なデータの処理
パラレルデータベース、サーチ
莫大なデータを扱うアプリケーション
ＨＰＣへのニーズも

研修所だけでなくてもハイパフォーマンスコンピューティングのニーズも

Xeon がＨＰＣの核

集積回路　トランジスタのサイズが小さく
今後も
小さくなるメリット　実装面積も増やせるし、消費電力の削減、物理的な距離も短く

E5-2600 v3
18個のコア
電力管理の工夫
メモリ DDR4
新しいフューチャーも
浮動小数点の演算も進化
ベクトル演算ユニット
浮動小数点 356bit幅
FMA( Fused Multiply-Add)　乗算と演算を同時に
90% Linpack
120% SPECjbb 2013-M

暗号化処理の向上も

消費電力も上げっていない

E5 2666 v3
ＡＷＳ専用

本田技研工業におけるHPC on AWSの歩み

re:invent 2014のリピートセッションになります。

Local、スピード感ですすめてきた

それぞれのスパコン

が

グローバル化、効率化、生産開発体制、ＣＡＥのリソース　一カ所で集約

いろいろな研究、作っている
細かい要望も多い、製品になっていないものも
さまざまなリクエストに答えるのが難しくなってきた

量産系も研究開発が優先
基礎研に割り当てるのも難しい
答えることに行き着いたのがクラウド

一週間だけ使うのも

2012夏
社内でも調達できず、社外に目を向けた
ユーザがもとめている三ヶ月で終わらない
審査とか
いがいに使えるところがない

リードタイム
スピードに答えられるか
待てない、今過ぎ使いたい

柔軟性
止めたいとき止めたい
時間単位で貸してくれるのも

最新のＣＰＵも
スパコンは新しいコアが使いたいニーズにも答えられる
スポットインスタンスも

 

リソースの５倍持っている
AWSは、1AZ、1DCに五万台
ＨＰＣでクラウドでＡＷＳは避けられない

うまく使えるように
速く使ったほうがいいのを伝えたい

電力の問題
オレゴン、ＥＵフランクフルト　カーボンフリー
これも１つの魅力

Cluster manager job schedular
Computing node スポットインスタンス or オンデマンド（スポットインスタンスですべてのリソースはカバーできないので、オンデマンドを併用しているとのこと)
計算が終わったら、、終了

1/3の期間で終了
ピーク時は16,000コア同時に使っている
70%のコスト際限
スポットインスタンスを併用する
スポットインスタンスはＡＺのキャパで起動できない場合があるので、オンデマンドと併用しているとのこと
オンプレでやったらい
非常に難しい
三ヶ月かかる損失も出さないと明確には出せない

調達コストは
16,000コア　16,000コア持っていないといけない 1/7

性能、ライセンス

ライセンスのビジネスモデル
商用ソフトウェアの対応がネック

InfiniBandをつんでいるものと同等
最大スケールまでは出せていない
今後に期待

ＩＳＶの反応が変わってきている。個人的な所感

でも、このあたりの進化はまだまだ

ユーザ主導型のエコシステム　＝クラウド

こうゆうものがほしい、　→サービスが増えていく　→ユーザが増えていく　→リリースの数も増えていく　加速度的に増えていく

リクエストも投げるのも手

声を上げる　変えることもでできる

クラウドリソースを使うべきか
計算リソースを持てないところも使えるようになる

変えないとついて行けない

５年後

クラウドはＨＰＣ使うのは当たり前
マルチクラウドの形でリソースを使って行ければと

会社の特徴も持っているクラウド業者も

ソフトウェアのライセンスの問題
性能などもある

考え方も変えていかなければならない

前向きにとらえてやっていくのがポイント　クラウドユーザ次第

オンプレとクラウドをシームレスに

HPC分野も、AWSを筆頭に、クラウドは避けて考えることはできないと実感しました。IoTなどセンサーネットワークが今後広がっていることも考えます。