【Agent Tracing】でできる5つのこと

Article by: (読了時間:7分)

 

 

AIを活用したアプリは、オブザーバビリティがなければデバッグが困難です。AIは実行のたびに異なる結果を出力し、異なる経路をたどりますが、なぜそうなるのかはわかりません。Agent Tracingは、プロンプト、ツール呼び出し、最終出力のあいだのギャップをアプリのコンテキストの中で埋めてくれます。何かが壊れたときも(いつかは必ず壊れます。経験上よくわかっています。)、1つの完全なトレースですべてを確認できます。モデル呼び出し、ツールの実行、ハンドオフが、アプリが処理するほかのすべてと一緒に表示されます。


Agent Tracingとは

Agent Tracingとは何か、どう役立つのか、まだよくわからない方もいるかもしれません。Agent Tracingの概要とAIエージェントのデバッグに、どのように役立つかをドキュメントで解説しています。

Agent Tracingの仕組みを見る


 

ツールのサイレントな失敗をデバッグしたり、マルチステップのワークフローで遅いステップを見つけたり、重要なコンテキストが失われてAIがハルシネーションを起こすマルチエージェントのハンドオフを修正したりできます。この記事では、Sentry CookbookにあるAgent Tracingのレシピをいくつか紹介します。自分のエージェントで設定できる、さまざまなユースケースを見ていきましょう。

 

本番環境のAIエージェントの会話をevalデータセットにする

evalとは、AIエージェントのためのテストです。入力を与え、返ってきた内容を見て、回答を採点します。evalを手作業で書く(合成evalを生成することさえある)チームもありますが、ここではすでにSentryに記録されている本番データの実際の会話を使って、このプロセスを自動化しましょう。このレシピでは会話を取り出して、好きなevalツールに渡し、採点させます。

このレシピではSentry CLIのコマンド1つで会話をエクスポートし、それをテストレコードにします。最初のユーザーメッセージが入力、最後のエージェントの返答が出力になり、コスト、トークン、ツールエラーはメタデータとして付与されます。レコードはBraintrustに、あるいはお好みでLangfuse、promptfoo、Arize Phoenixに読み込みます。そのうえで、可能な部分はコードによるチェックで、そうでない部分はAIエージェントによる判定で採点します。

以下のプロンプトをコピーして、自分のスタックに合わせたセットアップをコーディングエージェントに案内させるか、evalデータセットのレシピ全文を参照してください。

 
エージェントの会話をevalに変換する
(プロンプトはオリジナルサイトからコピーしてください。)
 
 

Claudeのスケジュールタスクで、AIエージェントのエラートリアージを自動化する

トリアージとは壊れたものを洗い出し、どれに修正が必要かを判断することです。AIエージェントの場合、問題がエラーとして表に出ないことが多いため、通常より難しくなります。ツール呼び出しが失敗してもエージェントが成功するまでリトライしたり、もっともらしいけれど間違った答えをハルシネーションで返したりします。すべての会話を自分で読むのは時間がかかりすぎます。それなら、毎朝エージェントに読ませてみてはどうでしょうか。

このレシピでは、1日1回実行され、MCPサーバー経由でSentryに接続するスケジュールタスクをClaudeに設定します。MCPを通じて過去24時間分の会話の統計(Agent Tracingで収集したもの)を取得し、失敗した実行と成功した実行を織り交ぜて選んで、詳しく読み込みます。

壊れたツール、ループにはまったエージェント、想定よりはるかにコストのかかった実行など、新しい問題が見つかると、スケジュールタスクがトラッカー(このレシピではLinear)に既存のチケットがあるかを確認し、なければ起票します。必ずしもスケジュールタスクを使う必要はありません。プロンプトを定期実行するcronジョブやGitHub Actionでも同じように動きます。

以下のプロンプトをコピーしてコーディングエージェントにセットアップを案内させれば、1日が始まる前に必要なチケットが起票された状態にできます。AIエージェントのトリアージのレシピ全文もぜひご覧ください。

 

AIエージェントのトリアージを毎日自動化する

(プロンプトはオリジナルサイトからコピーしてください。)

 

Vercel AI SDKのコストとLLM呼び出しを追跡する

アプリが行うLLM呼び出しにはすべてコストがかかり、その請求は通常、月末に1つの数字として届きます。それだけでは、どのモデル、ルート、会話がコストの原因なのかはほとんどわかりません。Agent Tracingなら、呼び出しごと・会話ごとのコストを追跡できます。このレシピでは、Vercel AI SDKを使ったNext.jsアプリ(ほかのライブラリや言語にも対応しています)でその方法を紹介します。

このレシピでは、Sentry Next.js SDKでトレーシングを有効にします。これにより、SentryのVercel AIインテグレーションもデフォルトで有効になります。AI SDKの各呼び出しに名前を付け、会話IDを設定すれば、1つのチャットのやり取りがすべてまとまります。

SentryのExplore → Agentsビューでは、モデルごとの推定コスト、エージェントの実行、ツール呼び出しの推移に加え、すべての会話の一覧と、それぞれのコストやエラーを確認できます。会話を開けば全文を読めますし、そこから完全なトレースをたどれば、問題の原因となっている遅いツール呼び出しが、データベース、ネットワーク、AIプロバイダーのどこから来ているのかを確認できます。

以下のプロンプトをコピーしてコスト追跡の設定をコーディングエージェントに案内させるか、AIエージェントのコストのレシピ全文を参照してください。

 

Vercel AI SDKのコストを追跡する

(プロンプトはオリジナルサイトからコピーしてください。)

 

Sentryのダッシュボードとアラートで、AIエージェントの支出を監視する

意図しないコストや使用量の急増は、請求書が届くまで何日も気づかれないことがあります。エージェントのコストを見張るのは有効ですが、見ることを覚えておかなければなりません。共有ダッシュボードと支出が急増したときに発火するアラートがあれば、ほぼすぐに気づけます。Seer Autofixはこうしたアラートを受けて根本原因を特定し、issueを確認する前にPRの下書きまで作成できます。

このレシピでは、Sentry CLIを使うスクリプトを実行して、LLM Spend per Userダッシュボードを作成します。コスト、トークン、支出の多いユーザー、モデルをカバーする8つのウィジェットで構成されています。スクリプトは支出に関する2つの1時間ごとのアラートも設定します。1つは自分で設定した上限を支出が超えたとき、もう1つは支出が通常の範囲を外れたときに発火します。どちらのアラートもMonitorsで好みに合わせて調整できます。

標準的なgen_aiスパンデータをSentryに送るスタックであれば、どれでも動作します。特定のフレームワークや言語は必要ありません。コストの推定値はSentryがトークン数から自動で算出するため、アプリから金額を送る必要もありません。

以下のプロンプトをコピーしてダッシュボードの設定をコーディングエージェントに案内させるか、AI支出ダッシュボードのレシピ全文を参照してください。

 

AIエージェントの支出を監視する

(プロンプトはオリジナルサイトからコピーしてください。)

 

OpenTelemetry経由でVercel AI SDKのテレメトリーをSentryに送る

すでにOpenTelemetryを導入していて、トレースを別のツールに送っている場合、AIのデータをSentryに送るためだけにすべてを新しい構成に移行するのは大変に思えるでしょう。このレシピは既存の構成を置き換えるものではありません。既存のパイプラインはそのままに、コーディングエージェントを使ってSentryを追加の送信先として加えます。

SentryがOTelのスパンを受信し始めると、LLM呼び出しがTrace ExplorerとExplore → Agentsに表示されます。これらのエージェントスパンは、同じリクエストから生じたアプリ、データベース、その他のスパンと並んで表示されます。

このレシピでは@vercel/otel SDKがすでに設定されたNext.jsを使っていますが、スタンドアロンのNode.jsサーバー、ワーカー、サーバーレス関数など、ほかの環境でも同じ設定が使えます。

以下のプロンプトをコピーして、OTelのエージェントスパンを受信するためのSentryの設定をコーディングエージェントに任せるか、OpenTelemetryのレシピ全文をご覧ください。

 

OpenTelemetry経由でVercel AI SDKのテレメトリーを送る

(プロンプトはオリジナルサイトからコピーしてください。)

 

Agent Tracingを始めよう

5つのレシピはどれも、同じところから始まります。Sentryにトレースを送るエージェントです。Agent Tracingのセットアップに関するドキュメントでは基本を、レシピでは特定のユースケースをもう少し深く解説しています。Sentry Cookbookには、Claude CodeやOpenCodeといったAIコーディングツールの監視を含め、さらに多くのAgent Tracingのレシピがあります。

途中で何かが壊れても、今回はAIオブザーバビリティがあるので、どこで問題が起きたのかを自分(またはエージェント)に教えてくれます。もしSentryをまだ使ったことがなく、それでもこの記事を最後まで読んでくださったなら、ぜひ今日無料でサインアップして、Agent Tracingを始めてみてください。Sentry MCPとCLIはすべてのプランで利用できるので、エージェントにデバッグのコンテキストを渡すのは思っているより簡単です。

 

 

Original Page: Five things you can do with Sentry’s Agent Tracing


IchizokuはSentryと提携し、日本でSentry製品の導入支援、テクニカルサポート、ベストプラクティスの共有を行なっています。Ichizokuが提供するSentryの日本語サイトについてはこちらをご覧ください。またご導入についての相談は「お問い合わせ」からお気軽にお問い合わせください。

日本語ブログホームへ戻る

 

シェアする

Recent Posts

;