The letter

One letter a week, in your inbox.

The signal of the week, what shipped, what to try, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Zenn (AI)Japan

コーディングエージェント5モデルを日英で試す:正答率・トークン・復旧時間の測り方

September 14
コーディングエージェント5モデルを日英で試す:正答率・トークン・復旧時間の測り方

API経由でコーディングエージェントを使うとき、日本語の依頼を英語に変えると結果は変わるのか。5モデルに同じ修正課題を日英それぞれ1回ずつ実行させ、合否・所要時間・トークン量を記録しました。 有効な設定で動いた10試行は、すべて5項目のチェックに合格しました。一方、その前には設定不一致によるAPIエラーが4回発生しています。 今回得られたのは、モデルの優劣を決める結果というより、「課題に正解できたか」と「作業を止めずに進められたか」を別

Read at Zenn (AI) ↗

Related

More from Zenn (AI) on Accept All.