CASE · 軽微 · other
未検証の報告公開情報からの収集Claude Codeのスキルに人間向け指示書を書かせた検証で、「終わったら何を報告するか」が3日とも抜けた(未検証の報告)
筆者(AI)によれば、スキルdaily-opsの決まりに従って人間向け指示書を書かせる検証を、Sonnetの新しいセッションで架空の計画を使って3日分行ったところ、書き方5番の「終わったら何を報告する」の一文が抜けた。採点で不合格になったのは2日目と3日目で、書式を見る確認スクリプトにかけると3日とも止まった。検証用の架空の計画での結果で、実害は述べられていない。
約5分で読めます
- 発生日
- 分類
- other
- 影響範囲
- none
- 検知
- internal-verification
- タグ
- #claude-code #skills #sonnet #instruction-following #verification #self-report #ai-authored
CH 1
原因
記事は原因を特定していない。記録として挙げているのは、モデルが3日ともSkillツールを使わず、SKILL.mdを直接開いて従ったこと、起動時の一覧に入ったのがスキルの名前と説明だけだったことである。筆者は、決まりを書いても手書きの指示書は外れると述べている。挑戦の実際の指示書でも、スキルを読み込ませずに手で書いており、確認スクリプトも当てていなかった。
CH 2
結果
1日目は採点では合格だったが、所要6分に対して作業の分の合計は3分で、作業1にも報告の一文がなかった。2日目と3日目は、作業1・2に報告の一文がなく不合格だった。確認スクリプトを3日分の写しにかけると、3日とも報告の一文なしで止まり、1日目は所要の食い違いと「飛ばしてよい」という選ばせる言い回しでも止まった。筆者によれば、題の「3日とも」はこの検査の結果で、採点で落としたのは2日である。
CH 3
対策
筆者は、報告の一文の有無を渡す前に確かめる項を足したv1.5(54行)を、noteでは2026年10月26日から配っているとしている。10月24日にv1.5と同じ決まりで回したDay 3では、v1.4の2日目で落ちた4件がすべて合格し、フォルダの外の読み取りは残った。別の計画をSonnetで回した10月26日のDay 1は、翌日の指示書を書かず、検査に通した報告と返した報告が別の文で、不合格だった。v1.5で直るかは、まだ確かめきれていない。
何が起きたか
【要確認】この記事は、個人の運用実験の記録であり、本番での事故報告ではない。ここで扱うのは、記事の中で述べられた検証の失敗(人間向け指示書の書き方の抜け)である。
筆者は、Claude(Anthropic社)本人を名乗るAIである。記事は、持ち主のアカウントでAIがブラウザを操作して投稿したと断っている。筆者は、持ち主の手が要る作業を ops/dayNN.md という指示書にして渡している。その書き方を固定したスキルdaily-opsの全文と、運用で直した点を記事にまとめた。
スキルは無料版リポジトリjisou-starterの .claude/skills/daily-ops/SKILL.md(33行、MIT)である。筆者によれば、検証では、キットのフォルダからClaude Code(デスクトップアプリ、Sonnet)の新しいセッションを開き、架空の計画で2026年10月19日から21日の3日分を回した(v1.4。daily-opsの中身はv1.3と同じ)。書かれた指示書は、書き方5番の「どこで → 何を → 何を貼る/押す → 終わったら何を報告する」のうち、最後の報告の一文が抜けていた。
現場の混乱
筆者の記録では、モデルは3日ともSkillツールを使わず、SKILL.mdを直接開いて従った。採点では、1日目は合格だったが、所要6分に対して作業の分の合計は3分だった。2日目と3日目は不合格で、2日とも作業1・2に報告の一文がなかった。1日目の作業1にも同じ一文はなかったが、採点では挙がらなかった。質問の「2のときは、作業1を飛ばしてよい」も選ばせる言い回しだが、これも採点では挙がらなかった。
あとで、書式を見る確認スクリプト(v1.5の下書きのcheck_ops.py)を、3日分の指示書の写しにLEDGER.mdの無い場所でかけた。筆者によれば、3日とも報告の一文なしで止まり、1日目は所要の食い違いと「飛ばしてよい」でも止まった(10月21日の回帰テストの記録)。
筆者は、挑戦の実際の指示書でも差があるとしている。実際の指示書はスキルを読み込ませずに手で書いたもので、Day 5の作業2に画面の作業用の固定の1文がなく、Day 4でも0・1・5・6番にない。穴埋めの1行にも「警告=」がなく、Day 5の予告は4行で、スキルの決まりは3行以内である。
原因
記事は、原因を特定していない。次のことだけを記録として挙げている。
- 起動時の一覧に入ったのはスキルの名前と説明だけで、モデルは3日ともSkillツールを使わず、SKILL.mdを直接開いて従った。
- スキルを読み込ませずに手で書いた実際の指示書でも、決まりから外れた箇所がある。書くときに決まりを読み直したかは、記録がなく未確認としている。
- 確認スクリプトは、挑戦の指示書には当てていない。キットの動作確認で使ったもので、v1.4までの配布物には入っていない。
筆者は、決まりを書いても手書きの指示書は外れ、モデルに書かせた指示書でも書き方5番が抜けたとまとめている。スキルが説明から選ばれるかは、実物では確かめていない。
対策
筆者によれば、いまnoteとBrainで届くv1.5は54行で、渡す前にどの作業にも「終わったら何を報告するか」の一文があるかを確かめる項などを足した。noteでの配布は2026年10月26日からで、Brainではv1.5の文の承認を10月27日に確かめた。指示書の書式を見るscripts/check_ops.pyも入っているが、穴埋めの1行が空かどうかは見ない。無料版リポジトリには入っていない。
v1.5で直るかの確認は途中である。10月21日の時点では、v1.5の実物での通しは開始前の日の1回だけだった。その後を合わせて、実物で6日回している。配っている版と同じ決まりで回した10月24日のDay 3では、v1.4の2日目で落ちた4件(作業ごとの報告の一文を含む)がすべて合格し、フォルダの外の読み取りは残った。別の計画をSonnetで回した10月26日のDay 1は、翌日の指示書を書かず、検査に通した報告と返した報告が別の文で、不合格だった。記録は無料版リポジトリのVERIFICATION.mdにあるという。
教訓として、筆者は、挑戦の指示書にも確認スクリプトを当てる必要があるとしている。決まりを文章で渡すだけでなく、出てきた指示書を機械で確かめる段を置くということである。
出典
この記録をチームに回す