# Same Task Bench R1 — run log (2026-08-09)

**This page is published for an English-speaking audience. A full English translation of the
detailed run log follows this summary; the original Japanese production notes are kept below it
unchanged, for anyone who wants the byte-for-byte original.**

## English summary

**Scorer calibration (before any agent ran):** the deliberately-buggy starting repo had to fail
(hidden tests 4/5, task 3 = 0/45) and a hand-written reference solution had to reach 100% (hidden
tests 5/5, task 3 = 45/45, task 4 peak RAM 18MB). Calibration caught a real defect in the data
generator itself — a missing POL-114 §3 clamp, expected value off by 797.09 — fixed before any
agent ran.

**Run 1 — Claude Code (v2.1.226, plan already held), reference-only:** 553s (9:13). Hidden tests
5/5, task 3 45/45 (corrected a $965.37 OCR misread via arithmetic cross-check), task 4 peak RAM
8MB. Configuration issue on our side: `--permission-mode acceptEdits` denied the agent Bash, so it
never ran pytest and hand-traced everything instead — it explicitly said in its final output that
it would not bypass the permission and asked for approval, which is recorded here as a safety
behavior worth noting, not as the reason this run counts. Because conditions weren't matched to
Codex (which had sandboxed execution), this run is reference-only; the re-run below is official.

**Run 2 (official) — Claude Code, execution enabled:** 673s (11:13). Same scores as Run 1: hidden
tests 5/5, task 3 45/45, task 4 peak RAM 13MB.

**Codex CLI (0.146.0, ChatGPT Plus):** 292s (4:52) — about half of Claude's time. Hidden tests 5/5,
task 4 peak RAM 8MB, task 3 42/45. All three misses were money fields (all 15 vendor names were
correct): INV-2010 read 3376.24 vs the correct 3385.96, INV-2012 read 5120.22 vs 5120.92, INV-2014
read 2648.37 vs 2646.37 — OCR misreads an arithmetic cross-check would have caught.

**The trade-off in one line:** faster but three invoices would misfire in accounting, versus slower
but flawless.

---

## 元の日本語ログ（本文・改変なし）

# Same Task Bench R1 — 実走ログ（2026-08-09）

## 較正（着工前・採点器の科学的健全性）

- バグ入り原状: 隠しテスト4/5 FAIL・task3 0/45 → 検出能力あり
- 正解実装: 隠しテスト5/5・task3 45/45・task4 RSS 18MB → 満点到達可能
- 較正中に発見: データ生成器がPOL-114§3クランプ漏れ（expected 797.09ズレ）→修正。**採点器自身もテストされた**

## Run 1: Claude Code（2.1.226・既保有プラン）

- 条件: `claude -p --permission-mode acceptEdits --max-turns 80`、逐次実行、8GB実機
- 所要: **553秒（9分13秒）**
- 結果: **隠しテスト5/5・task3 45/45（$965.37誤読を算術照合で修正）・task4 RSS 8MB**（制限150MBの5%）
- **⚠ 条件不備（当方の設定ミス）**: acceptEditsはBash実行を許可しない→エージェントは**pytestを一度も実行できないまま**全コードを手トレースで書き上げ満点。jqだけで式の照合を自作。「権限の迂回はしない、承認をくれ」と final出力で明言（安全側の挙動として記録）
- 完全性: 隠しテスト・golden・expectedはいずれも走行中のrepoに不存在をmtimeで確証（expected注入03:08:17＞走行終了03:08:01）
- 判断: **参考記録扱い**。実行許可つき再走（r2）を公式記録とする（Codexのsandbox実行可と条件を揃えるため）

## Run 2: Codex CLI（0.146.0・ChatGPT Plus）

- 条件: `codex exec --sandbox workspace-write`（実行可）、逐次、8GB実機
- 所要: **292秒（4分52秒）＝Claudeの約半分**
- 結果: 隠しテスト5/5・task4 RSS 8MB・**task3 42/45**
- ミス3件は全て金額（社名15/15正解）: INV-2010 3376.24（正3385.96）/ INV-2012 5120.22（正5120.92）/ INV-2014 2648.37（正2646.37）＝**OCR誤読の算術照合漏れ**
- 構図: 「速いが3つの請求書で経理が事故る vs 遅いが完璧」——実務なら3件の誤払い


## 実走時間の一次記録（2026-08-11 追記・後続の独立検収で記録漏れを発見）

本ログ本文はRun 1（参考記録）の553秒しか書いていなかったため、公式記録r2の11:13が
本ログだけでは再現できなかった。harnessが書いたepochマーカーをそのまま公開する。

| run | time_start | time_end | 差 | 表記 | 位置づけ |
|---|---:|---:|---:|---|---|
| claude-code (Run 1) | 1786211928 | 1786212481 | 553s | 9:13 | 参考記録（acceptEditsでBash不可） |
| **claude-code-r2** | 1786212883 | 1786213556 | **673s** | **11:13** | ✅ 公式記録・動画のスコアボード |
| **codex** | 1786212524 | 1786212816 | **292s** | **4:52** | ✅ 公式記録・動画のスコアボード |

生ファイル＝`runs/<agent>/time_start` `time_end`、集計＝`runs/WALL-CLOCK.json`。
`echo $(( 1786213556 - 1786212883 ))` で誰でも再現できる。