オブザーバビリティ業界はこれまで、メトリクス、ログ、トレース、プロファイルを活用し、過去10年のソフトウェア開発を主導してきたクラウドネイティブ・アプリケーションを監視するための優れたツールを生み出してきました。

しかし、AIシステムが「実際に何をしているのか」を理解しようとすると、生の会話履歴を読み込み、品質を推測し、手遅れになってから対処するという状況に陥りがちです。これは大きな課題です。

エージェントは自律的に意思決定を行い、ツール実行やコンテンツ生成を通じてユーザーやシステムと対話します。こうした振る舞いは従来の監視の枠組みを超えており、組織が「クラウドネイティブ」から「AIネイティブ」へ移行する今、エージェントの会話やセッションを、メトリクス等のテレメトリと並ぶ「最優先の監視指標」として扱うことが不可欠となっています。

この新たなギャップを埋めるために、私たちはGrafana Cloud AI Observabilityをリリースしました。現在パブリックプレビューとして提供されているこの機能は、もともとは私たち自身がエージェント開発で直面していた課題を解決するために、社内のハッカソンプロジェクトとして始まったものです。その後、同様の悩みを抱える多くのお客様の声を聞き、私たちが学んだ知見を、本番環境でエージェントを運用するチームのための「包括的なソリューション」へと進化させました。AIが何をしているのか、そのパフォーマンスはどうか、どこに問題が生じているのかを正確に把握できるよう支援します。

AIオブザーバビリティが今すぐ役立つ理由

従来のオブザーバビリティは、CPU使用率、リクエスト・レイテンシ、エラー率といったシグナルを提供してくれます。これらは重要ですが、「エージェントが役に立っているか」「ハルシネーション（もっともらしい嘘）を起こしていないか」「時間の経過とともに密かに精度が低下していないか」までは教えてくれません。

だからこそ、Grafana CloudのAIオブザーバビリティは、チームが以下のことを行えるように設計されています。

• リアルタイムの挙動監視: 入出力や実行フローを含む、AIエージェントの動きをリアルタイムで観察します。
• 継続的なアウトプット評価: 低品質なレスポンス、ポリシー違反、異常な挙動などに対するアラート通知します。
• リスクの早期発見: データの露出や不正利用（認証情報の漏洩や異常な利用パターンなど）の可能性を早期に特定します。
• セッションデータの統合：エージェントの会話やセッションを「主要な監視指標」として位置づけ、アプリケーション監視と同じ環境で他のデータと紐づけて分析します。

AIオブザーバビリティは、エージェントの動きをトレースやツール呼び出し、トークン使用量、コスト、さらにはリアルタイムの回答評価と直接関連付けます。これらすべてを、他のシステム監視と同じGrafana Cloud環境で一元管理できます。

これにより、エージェントであれ、それ以外のコンポーネントであれ、真の「エンドツーエンド」のシグナルが得られます。次に「何かおかしい」と感じたとき、単にレイテンシのスパイク（急増）を確認するだけで終わりません。その瞬間の具体的な会話内容を開き、何が起きたのか、なぜそうなったのかを詳しく調査できるようになります。

オープンスタンダードによる「一度の計装で、すべてを理解」

AIオブザーバビリティはOpenTelemetry互換であるため、既存のオブザーバビリティ環境に自然に馴染みます。軽量なSDKを使用してアプリケーションに一度計装（インストルメンテーション）を行うだけで、AIオブザーバビリティは以下の項目を自動的にキャプチャします。

• 生成結果と会話内容
• モデルおよびプロバイダーのメタデータ
• ツールの使用状況
• レイテンシとトークンに関するメトリクス
• コストに関するシグナル

収集されたデータは、すべて一箇所でクエリや探索が可能になります。モデルやプロバイダー、期間、ラベル、環境ごとにフィルタリングすることもできます。これは、異なる環境で同じモデルが異なる挙動を示すような、マルチプロバイダー構成をとっている場合に特に有用です。

また、AIオブザーバビリティはエージェントのバージョンを自動的に分類し、カタログ化します。エージェントのシステムプロンプトやツールセットを変更すると、新しいバージョンが自動で作成され、個別に詳しく調査できます。これにより、最もパフォーマンスの高いエージェントを特定したり、特定のエージェントが抱える固有の問題を見つけ出したりすることが可能になります。

AIエージェントの「静かな不調」を見逃さない：AIオブザーバビリティが理由を解き明かす

本番環境でAIを運用する際、最も困難なことの一つは、不具合が「極めて分かりにくい」点にあります。システムがクラッシュするわけでも、アラートが鳴り響くわけでもありません。しかし、何かがおかしい。そしてユーザーから不満が届き始めます。「レスポンスが長くなり、役に立たなくなった」「コストがじわじわ上がっている」「品質が徐々に低下している」――。こうしてユーザーの信頼は失われていきます。

GrafanaのAIオブザーバビリティは、まさにこの問題を解決するために設計されました。あらゆる会話を深掘り（ドリルダウン）し、スレッド全体を確認できます。そこには、ツール呼び出し、実行トレース、トークン使用量、コストの内訳、スコア、評価、そしてアノテーションまでが含まれます。

これはエージェントのデバッグにおいて極めて重要です。特定のエージェントが特定のモデルで苦戦していないか、あるいは最新リリースの影響が出ていないかを理解する助けになります。また、トークンがどこで消費され、結果として「どこにコストがかかっているのか」を正確に把握できます。特定の操作が高くついているのか、特定のツールが遅いのか、あるいは特定のタスクでつまずいてコストを押し上げているのか、といった詳細を可視化できます。

さらに、デバッグのサポートや改善策のアドバイスが必要な場合は、Grafana Assistantに自然言語で相談できます。AIのデータと他のすべてのテレメトリ信号を相関分析できるため、あらゆるユースケースに対応可能です。

例えば、計算リソースにどれだけの時間を費やしているか、何が原因でレイテンシのスパイクが発生しているかを確認し、それがAIの挙動とどう結びついているかを突き止められます。本質的に、これは私たちの既存のフルスタック・オブザーバビリティ・プラットフォームの力を、ビジネスが依存する「次世代のアプリケーション」へと拡張するものなのです。

「本当に必要な時」にアラートを受け取る

AIオブザーバビリティは、AIの回答精度の評価にも役立ちます。これは、大規模な環境で複数のエージェントを運用する際に大きな課題となる部分です。

「LLM-as-a-judge（評価用のLLM）」やヒューリスティック、正規表現（regex）を使用して、不適切な出力を検知できます。AIオブザーバビリティはGrafana Alertingとネイティブに統合されているため、エージェントが制御不能な振る舞いをした際に通知を受け取れます。これらを組み合わせることで、エージェントを他のサービスやインフラと同じように管理できるようになります。

さらに、これをAssistantのスキルやエージェント専用のランブック（運用手順書）と組み合わせることも可能です。例えば、エージェントから「不適切な発言（Toxicity）」が増えているという呼び出し（ページング）を受けた際、Assistantに会話を点検させ、ランブックを読み込ませた上で、修復戦略を提案させるといった運用が可能になります。

Grafana Assistantを開発したチームが贈る、AIオブザーバビリティ

私たちがエージェントの監視における課題を熟知しているのは、自分たちがその苦労を経験してきたからです。Assistantの開発を始めた際、多くのフレームワークを検討しましたが、私たちが求めるレベルでエージェントを監視するには、どれも詳細さが不十分でした。

私たちは自社専用のソリューションを構築する必要があることに、すぐに気づきました。Grafana Assistantはユーザーから非常に高く評価されており、実際、その人気を受けて、現在はさらに新しく魅力的な形での提供も開始しています。この成功の大きな要因は、パフォーマンスやユーザー行動の変化を追跡するために構築した「フィードバックループ」を密接に監視できていたことにあります。

この成功体験から、私たちはこの機能を顧客にも提供すべきだと考えました。そして先日のハッカソンにて、Assistantチームがエージェント監視、プロンプトエンジニアリング、バージョン管理、ツール操作のハンドリングなどで学んだ知見をすべて注ぎ込み、大規模なエージェント監視を可能にするソリューションへと結実させたのです。

AIオブザーバビリティは、Assistantと同様に、継続的なイノベーションの中心にあります。プライベートプレビュー期間中のお客様との連携を経て、ユーザーアノテーションや合理化されたアラート機能など、すでに多くの新機能をリリースしました。より多くの方々にこのソリューションを開放し、さらなる革新を続けていけることを楽しみにしています。

本日から、Grafana CloudでAIオブザーバビリティの利用を開始できます。まずはデモモードで、サンプルデータを用いた動作を体験してみてください。準備ができたら、自社のエージェントを接続して分析を始めることができます。

GrafanaCON 2026でのその他の刺激的なアップデートについては、発表まとめブログをご覧ください。また、Assistantに関するFAQやその他のAI機能を含む詳細については、AIオブザーバビリティのページでご確認いただけます。

Grafana Cloudは、メトリクス、ログ、トレース、ダッシュボードなどを始める最も簡単な方法です。私たちは、充実した永久無料枠と、あらゆるユースケース向けのプランを用意しています。今すぐ無料でアカウントを作成しましょう！