Paul Jialiang Wu agentic-portfolio English 中文 Español 한국어✉️ 無料リスト
← ポートフォリオに戻る

AI-Nativeシリーズ · エージェント型システムの制御

伝票

執筆:Paul Jialiang Wu · futuremake.io · 2026-08-24 · 第1話(全4話)

Cover: white ground with a black left rail. Eyebrow AI-NATIVE SERIES · CONTROL FOR AGENTS above the serif title The Order Ticket, then two grey lines reading 'You cannot enter the kitchen. You control one thing: what is written on the slip.' Below, two rows of three grey cards: THE SLIP / one call / instructions, examples, format; THE WINDOW / one completion / your entire observation channel; THE GAP / variance / what prompt work rarely measures; then SURVEYED / arXiv:2401.14423 / the mature layer; PROMPTWARE / arXiv:2503.02400 / process, not better wording; THE LIMIT / no memory of after / the plate already left.
これは比喩ではなく、実際の制約だ。一度の呼び出し、一枚の伝票。

1分でつかむ要点 — この回で持ち帰れるもの

プロンプトエンジニアリングは、4つのレイヤーの中で唯一、まとまったサーベイが存在する。そのため、このシーズンはここから始まる。このレイヤーの作業単位は「1回のモデル呼び出し」であり、それがそのまま限界でもある。どんなに言い回しを工夫しても、プロンプトが答え返却後の出来事を観測することはできない。プロンプト関連の文献で最も興味深い成果はテクニックではなく、Promptware Engineeringが主張する「プロンプトにはバージョン管理・テスト・オーナーが必要だ」という点にある。これは言い回し自体の話ではない。言葉の外側にある仕組みについての提案であり、それが次回のテーマとなる。

冒頭の情景

活気ある厨房。しかし中に入ることはできない。鍋に触れることも、ソースの味見も、料理人にやり直しを頼むことも許されていない。自分が手にできる唯一の手段は、スロットを通す一枚の紙の伝票だけだ。

7番テーブル。チキン。ピーナッツ抜き。辛さは中辛。20分。

自分が影響を及ぼせることは、すべてその伝票一枚に詰め込まなければならない。これこそがプロンプトエンジニアリングであり、この制約は比喩ではなく、まさに現実のインターフェースそのものだ。モデル呼び出しは一度きり、伝票も一枚きり。

このエピソードが最初で短い理由は、ここがまさに成熟したレイヤーだからだ。本格的な文献、信頼できるサーベイ、確立した手法が揃っているのはここだけだ。残りのシーズンは、伝票だけでは制御しきれなくなったときに何が起こるかを描く。

舞台設定

この厨房には、シーズン全体を貫くたった一つのルールがある——自分は厨房の外にいる。料理人の手順には一切手を出せず、書き込める内容と、窓から返ってくるものだけが自分の領域だ。以降の各エピソードは、内部に入れないまま、どうやって制御を広げるかの試行錯誤である。まずは厨房そのものを作り直し(エピソード2)、次に皿が戻るのを観察して伝票を再送し(エピソード3)、最後は複数の厨房を同時に動かす(エピソード4)。

厨房と技術の対応表

厨房技術上の呼び方実際に制御できるもの
紙の伝票プロンプト指示、例、出力フォーマット、役割の枠付け
「ピーナッツ抜き」制約インバンドで明示された厳格な要件
「中辛」曖昧なままの指定項目分散の最大要因
パスに置かれた2つの見本皿少数例の提示コンテキスト内学習
「20分」予算このレイヤーで唯一指定できる終了条件
料理が戻る窓1回のコンプリーション観測できるすべて

主張の整理

[DEF]プロンプトエンジニアリングとは、1回のモデル呼び出しまたは短い対話のために、指示・例示・出力契約・役割フレーミングを設計する営みである1回のモデル呼び出し、もしくは短い対話(arXiv:2401.14423、Prompt Design and Engineering)。このレイヤーの作業単位は1回の呼び出しだ。

[EVIDENCE]このレイヤーには、実際に体系的なサーベイが存在する。Prompt Design and Engineering(arXiv:2401.14423)は、主要な手法を網羅しつつ、ReAct、ReWOO、DERAといったエージェント寄りの技術にも踏み込んでいる——ここが重要で、「エージェントループ」的な内容は、独自のラベルが付く前からすでにプロンプトの文献で扱われていたことになる。

[DESIGN] Promptware Engineering(arXiv:2503.02400)は、このシーズンで決定的な一手を打つ。プロンプトにもソフトウェア同様、要件・テスト・バージョニング・保守といった仕組みが必要だと主張する。その議論の本質に注目してほしい。「より良い言い回し」が必要だと言っているのではない。より良い言い回し。プロンプトの周囲に運用プロセスを整備せよ、という主張だ。その周囲にプロセスをきちんと整備すること。この時点で、すでにキッチンの外へ一歩踏み出し、harness(ハーネス)へと足をかけている。

[OPEN] プロンプトの質だと思われているものの中には、実際はharness(ハーネス)——リトリーバルやコンテキストの組み立て、ツールの有無——の質に起因する部分が多い。しかし実務者向けの文献では、そこが明確に切り分けられていない。「より良いプロンプト」がコンテキストウィンドウの変更と同時に導入された場合、その効果の帰属は曖昧なままだ。

予測ゲート

続きを読む前に、自分の答えを一度書き出してほしい。間違っていてもいい、重要なのは記録することだ。

あるチームがエージェントのタスク成功率を61%から78%に上げた。同じ週に2つの変更を行った:システムプロンプトを書き直し、リポジトリファイルのリトリーバルステップを追加した。

賭け: どちらの変更が主な効果をもたらしたのか? そして、それを一発で判定できる実験は何か?

多くの人はプロンプトに賭ける。なぜならプロンプトは自分で読めるからだ。判定するにはアブレーション——リトリーバルを古いプロンプトと組み合わせて実行する——が必要だが、これがほとんど行われないのは、自分の文章が無意味だったと一週間かけて証明したい人などいないからだ。

失敗ルーム

意図的に壊してみよう:出力契約(output contract)だけを削除し、他はすべて残す。

安定して返答するプロンプトを用意し、{"status": ..., "retryable": ...}スキーマの行だけを削除してタスクの説明はそのまま残す。モデルは依然としてタスクをこなす。文章もタスクを説明している。だが壊れるのはすべて下流——パーサー、リトライロジック、出力を読む評価器などだ。retryable.

この層では、壊れたことそのものよりも診断の方が重要だ:フォーマットの失敗は、能力の失敗と区別がつかない——下流の何かが出力を読もうとするまで。それこそが今シーズンで扱う「抜けている層」の最初の兆候だ。伝票は問題なかった。キッチンも問題なかった。ただ、窓を見張る装置がなかっただけである。

ラボ——15分

ひとつのプロンプトを、テスト対象の仕様として扱う。

  1. 自分が普段使っているプロンプトを一つ選び、その出力が満たすべき条件——必要なフィールド、型、列挙値、長さの制約——をアサーションとして書き出す。
  2. そのプロンプトをtemperature 0で20回実行し、アサーション違反が何回起きるか数える。次に、本番環境で使っているtemperatureでも同じく20回実行する。
  3. 今度はinstruction(スキーマではなく)の単語を一つだけ変えて、同じ検証を繰り返す。

あなたがここで測っているのは、ほとんどのプロンプト作業では無視されがちな分散であって、品質そのものではない。平均が良くても分散が大きいプロンプトは、パースが必要なシステムにとってはむしろ悪いプロンプトであることが多い。

リアリティ・ミッション

自分が管理している中で最も利用頻度の高いプロンプトを特定し、それにバージョン番号、テストファイル、オーナーを割り当てる。これこそがPromptware Engineering(arXiv:2503.02400)の推奨を一つの午後で実現する方法であり、このレイヤーで得られる最も手軽で持続的な成果である。

リサーチ・チャレンジ

誰もやりたがらない帰属分析をエージェントにやらせてみよう。公開されているエージェントベンチマークharnessを使い、まずプロンプトを固定してコンテキスト組み立てだけをアブレーションし、次にコンテキストを固定してプロンプトだけをアブレーションする。その2つの差分を並べて報告する。検証すべき主張はこうだ:リトリーバルやツールを使うシステムでは、プロンプトの編集が説明できる分散の割合は、実務者が思っているよりも小さい。 これは今も[OPEN]な問題であり、しかも測定可能だ。

エグジットテスト

以下の3つに即答できるようになったら、このエピソードは卒業だ:

  1. このレイヤーでの作業単位は何か?(1回のモデル呼び出し)
  2. どんなに完璧な伝票を書いても、このレイヤーで絶対にできないことは何か?(皿が窓を出た後に何が起きたかを観察すること)
  3. Promptware Engineeringは、実際には何を主張したのか――言い回しの工夫か、それとも周辺プロセスの整備か。Promptware Engineeringは、実際には何を主張したのか――言い回しの工夫か、それとも周辺プロセスの整備か。

次回予告

伝票はこれ以上なく整っている。スキーマも守られ、制約も明示され、予算も書かれている。それでも料理人は、あなたが意図したファイルを読むことも、あなたが求めるテストを実行することもできず、なぜ料理が間違って戻ってきたのかも説明できない。

だから、伝票の書き方を工夫するのをやめて、キッチンそのものを作り始める。この段階から語彙も揺らぎ始める。なぜなら、次に誰もが口にする言葉がharnessであり、その最もよく引用される定義は、私たちが描いてきたきれいな図式を静かに壊してしまうからだ。

→ エピソード2――与える身体

次に読む

エピソード1:Intelligence Engineering Adventures シーズン6――ガバナー・エンジン。シリーズの出典では、各主張にクラス(定義、導出、証拠、エンジニアリング上の選択、未解決問題)がタグ付けされている。比喩は主張の導入には使われるが、証拠には決してならない。このシーズンは4ラベル図を一次資料で本気で検証し、成立しないことを示す。Anthropicの定義ではharnessはループそのものであり、上位レイヤーではない。すべての主張にクラスが付され、本当に未解決の問題は[OPEN]として明示されている――LLM制御ループの安定性基準を公表した者はいない。本記事には雇用主やクライアントの素材は一切含まれない。―― Paul Jialiang Wu · futuremake.io

参考文献

  1. Prompt Design and Engineering: Introduction and Advanced Methods――arXiv:2401.14423。ReAct、ReWOO、DERAを含むプロンプト手法のサーベイ。2026-08-24、arXivで検証済み。
  2. Promptware Engineering: Software Engineering for Prompt-Enabled Systems — arXiv:2503.02400。補足:このシーズンの出発点となったブリーフでは「Software Engineering for LLM Prompt Development」として引用されているが、IDは正しいもののタイトルは異なる。上記タイトルで確認済み。
  3. Anthropic, Building Effective AI Agents — あらかじめ決められたオーケストレーション(「ワークフロー」)と、モデル自身がプロセスやツールの使い方を動的に制御するシステム(「エージェント」)を区別している。https://www.anthropic.com/engineering/building-effective-agents