クラウドインフラ構築記

現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。

Google Cloud Next Tokyo Day1

7/30、31、Google Cloudの基幹イベントであるGoogle Cloud Next Tokyoが開催される。7/30の基調講演、セッション、Developer Stage、ブースでのミニセッションのレポートになります

基調講演

AIエージェントは検証フェーズから本番フェーズに。TPU8t/8iのAIチップから実行基盤、モデルまでフルスタックAIでGoogle Cloudで利用できる。チャットベースはすでに過去の異物。自律型エージェントでどのツールを使うべきかセキュリティは最優先。データもAI ready

Gemini Enterpriseもデータレジデンスで国内対応。エージェント開発もローコードからADKまで揃えている

SREはAIに任せるべきか。ブレイドがDatadogで出した答え

クリティカルなアラートはメトリクス、トレース、ログみて、影響範囲調査とか一時対応手動だと大変

暗黙知をコンテキストに変える。スキルとかのルール化。ログ、メトリクス一元的にリードできないとエージェントで調査も難しい

調査エージェントを自作、SaaSのものを使うか、自作はかゆいところまで届くが、データが陳腐するとエージェントの回答にも影響あるので運用コストが高くなるので、適所適所で利用する

ソフトウェアの先へ: Anthropic が示す次世代エンタープライズ AI

最近OpenAIのテスト中のモデル閉じられた環境をでて外部のサイトにアクセスしたインシデントとかありますが、安全にAI利用するようにする取り込み

Opus 5、方向性を丁寧に案内する必要があったが、細かくマイクロマネージしない方がいい

コーディングでなく、周りの検証、レビュー、リーガル、セキュリティがボトルネックになってきている
計画より、PoC、レビューの拡充、コーディングより問題定義できるスキルセットの重要、組織のフラットなど業務ワークフローを変えていく必要がある

メルカリのグローバルアプリで挑んだAlloyDB運用と課題解決の実践記

既存DBを活かして類似検索ができる
ScaNNインデックス、Automatic index maintenanceの自動化
古いEmbeddingをバッチで削除

Read Poolを使うかPrimary選択するか意識しない実装
透過的にクエリを振り分けるインターフェースを用意。クエリに応じてルーティングする。

バッファプール暖気していないとパフォーマンス劣化するので投入前にウォームアップクエリを流す

Managed Connection Poolingに移行にするチップスが紹介された。

使いこなそう!VPC Service Control

どこからアクセスしているかでていくか制御はIAMだけでは難しい

境界でアクセス制御するサービスになる。

VPC Service Controlでサービス境界を設定
dry-runで大きな変更する場合の影響調査することを推奨

Agent Development Kit 2.0がGA!10分で新たな機能や仕組みを解説

ADK 2.x、宣言的にワークフロー実装できたり、より柔軟にプログラミングベース、Agentをscopeを制限できるようになっている

Dynamic workflows、多用するとコード可読性悪くなるので最小限にして、 Graph-base workflowsにすることがよさそう

スキーマにより、エージェント間のデータ入出力がしやすくなっている

A2UI

悪意のデータを送りつけても、A2UIだとデータに入力するデータを制限することで安全なエージェントを作るポイントになる

VPC Service Connectで実現する今どきのシンプルかつセキュアなサービス接続

VPC Service Connect、AWSだとVPC Lattice相当で接続エンドポイントだけでVPC間でセキュアで公開できる

PSC Subnetがサービス提供側にパケット入っていくと Double NATで変換してサービス提供に流れていく

PSC SubnetのCIDRだけは被らないようにしないといけない

サービス提供側はNLBなりALBが必要になる。

PSC Endpoint、リージョナルリソースなのでリージョン障害等で通信できなくなる
PSC Backendで、サービス利用者でもLBでリージョン可用性を高めることができる。

PSC neg、ヘルスチェックがないが、Composite healthでリージョン障害を検知できる

Agent Runtimeから社内リソースにアクセスするとかのケースにPSC Interface PSC-I

AI開発ツールのエンタープライズ展開➖OpenTelmetryとGoogle Cloudで実現するトレーサビリティと可視化

LLMは確率論なので都度回答が異なることがある。従来とは別の方法で可観測性の仕組みが必要になる

オブザーバビリティは調査時間も速くなる。結果だけをレポートしてもらい、解決法だけ人間が確認できる。
AIエージェントの非定型な行動パターンには可観測性も重要

コメントは受け付けていません。