定期ジョブが13回連続で失敗し、5日間誰も気づかなかった

何が起きたか

誰も終了コードを見ていなかった。研究メモを翻訳し直すmacOSのlaunchdジョブが、 5日間にわたって静かに失敗し続けていた——13回連続、すべて終了コード1、 アラートは一件も出ない。

派手に壊れたわけではない。ただ仕事をしなくなり、それを誰にも伝えなかっただけだった。

現場の混乱

証拠は素朴なログファイルの中にあった——retranslate.logに、13回連続の exit=1が5日間気づかれずに記録され続けていた。同じ頃、独立したもう一件の 同種の記録も残っていた。約2週間前にパスが変更されたことに気づかないまま、 バックアップスクリプトが毎晩失敗し続けていた——ただしこちらは違う理由で サイレントだった。前提条件が揃わないと exit 0(成功)で抜ける設計だったのだ。

無関係な2つのジョブが、同じ死角にはまっていた——それぞれが報告していた 内容を、誰も読んでいなかった。

原因

自律的な定期ジョブは自分から文句を言わない。終了コードを誰も読んでいなければ、 「まだ動いている」のか「1週間死んでいる」のか外からは区別がつかない。 一部のジョブはこれをさらに悪化させる設計になっている——前提条件が揃わないと exit 0(成功)で抜けるため、非ゼロの終了コードを見張るだけでは不十分で、 そのジョブにとっての「健全な沈黙」が何かを知っておく必要がある。

対策

現在は最小限のカーネルが定期ジョブのうち6本を「preflight→本体(無改造)→記録」の 3段構成で包み、終了コードと出力の最終行を小さなデータベースに記録している。 各ジョブは実際の挙動に合わせて個別のIDLE閾値を持つ。完了後ずっとアイドルが 正常なジョブはIDLE_THRESHOLD=off、毎晩動くはずが黙って空振りしうるジョブは、 その沈黙自体を異常として検知できる厳しい閾値を設定する。