AI非決定論が品質保証に与える現場の変化と実例

ソフトウェア開発で「決定論的（deterministic）」という言葉、けっこう耳にする気がする。いや、最近は逆に意識されなくなったかも？うーん……とにかく、この用語って、本当に要だ。入力や初期状態が固定されていれば、プログラムの結果も必ず同じ──そんな挙動を意味してるんだからね。なんか地味だけど、それがあることでシステム全体の信頼感、生まれてくるのよ。不安にならない。まあ実際のところ、その予測可能性こそソフトウェア信頼性の根底だったりするし。

それにデバッグとかテスト、それから検証までも、決定論的なおかげで理屈通り再現できたりする。その繰り返し可能な動作──ユニットテストでも活きてるし、シミュレーションの再現なんかにも絶対必要。でも、ちょっと話逸れるけど、航空機制御とか金融取引台帳みたいなクリティカルシステムでは特に決定論的大原則なしには成立しえない訳で。これこそ、「このプログラムは正しい」って自信持って言える土台よ。それを知らずにつくられたものは不安しか残らない感じだろうなぁ。そして、この方針がほぼすべての老練なソフトウェアエンジニアリング領域に染み込んでいるわけです。

……ああ、とここまで熱弁したけど（頭ちょっと混乱）、一度AIについて触れておかなきゃ。この点、「どんなにパワフルになったとしてもさ……生成AIとかエージェント型AIとか、結局“決定論的なテスト”という王道基準そのものには本質的にたどり着けていない」ということも妙に実感する。その限界があるから、諦観めいた納得すら湧いてくる。[1]

あともう少し噛み砕くと――決定論的ソフトを書いてる時、自分自身で確固たる見通し＝predictability を設計へ取り込むことになるんだよね。具体例出すとしたら、データベース・エンジンや航法アルゴリズム、それから各種制御系設計でもお馴染みだ。一つ思いついた事を書き添えるなら、その恩恵は主として以下4つの特徴として表れる：

- **予測可能性**：入力値さえ変わらなければ常々挙動が一致。
- **一貫性**：環境・時刻・その他状況要因ごと変化せず同じ成果物が得られる。

つい技術専門書によくあるフォーマルな空気が漂う記述になりそうだったけど——あっ脱線した、ごめん。やっぱ最終的には「安心できる地盤」として、この一連の思想そのものが私たちの日常コーディングを支えている、とまあそういう印象だ。ま、いいか。

もしハードウェアやOS、あるいはランタイムのクセに引きずられることがなければ、デバッグって想像以上に楽になるんだよね。つまりさ、バグが目の前で繰り返し顔を出してくれて、一度こっちが「ん？」と感じたとしても、同じ入力でまた再現できちゃう。ま、安心感あるよね。テストもしやすくなるのは言うまでもないかな。なんというか、「このケースなら絶対成功する」「逆にこれだと毎回コケる」と明確に断言できて、コードを弄らなきゃいつでもその通りになる。この状態がエンジニアから見れば究極っていうか……いやまあシステムがラベル通り、そのまんま正確に動いてくれたら、それだけで小さくガッツポーズしたくなる。

なのに世の中そう単純じゃなくてさ——いや全ソフトウェアが決定論的ってわけにもいかないものだろう、多分。案外どんな分野にも非決定論性って混じるし、それも時々は故意だったり不意だったりする。そのプログラム自身のせいとは限らず、「あれ？今何時？」とか、「ネットワーク重くない？」みたいな環境要因とかスレッドの順番だとか…予測できないことばかり起こる。例えばレースコンディションに巻き込まれたり、気づけばハードウェア割込み喰らったり、乱数生成用シード値次第で変化したり、非同期のコールバックも手強い要素。そのおかげで—いや“おかげ”というべきじゃないけど—こうした非決定論的ソフトウェアが全然役立たずという訳でも無い。ただ一般的にはね……テストや検証・信頼性をどう確保するか、その難易度は跳ね上がる。不安なのは結果がバラつく場合、「またバグなのか、一時的な揺れなのかな。それとも運悪かっただけ？」みたいな迷い方になっちゃう点かなぁ。

同じ入力に対して、たとえば飛行機のナビシステムや病院の点滴ポンプが毎回異なる反応を返してきたら……なんて想像すると、なんだかざわつく気持ちにならない？　正直、不便なだけならまだマシで、下手したら命が危うい。ま、いいか、じゃすまされない。

## クリティカルシステムで決定論が不可欠になる理由

いくつもの領域で、「決定論」ってもはや“あったほうがいい”というレベルじゃなくて、本当に無いと困るんだよなぁ。
- **自律走行車**だったらさ、センサーからの情報をもとに安定して判断し続けなきゃいけない。でもLiDARの読み値がちょっと揺れただけで全体の意思決定までおかしくなったら、それもう怖すぎて乗れん。
- **医療機器**の場合、一回一回ぜんぶ正確に予測できる薬剤量や測定値を出せて初めて安心できる。“少しずれるだけ”と思うかもしれないけど、その僅かな差でも生死を分けることが現実としてあるわけだよね。
- **航空制御システム**の場合はどうなの？ってふと思うんだけど、訓練のシミュレーションでも実際の運用時でも、必ず同じルートをきっちり辿ってくれる必要がある。それ崩れると、安全面もそうだし、訓練結果との整合性も取れなくなる。（うーん、大事…）
- それから**科学計算**。ここでは再現性こそ最重視されるものとして扱われていて、“他人が独立して同じ結果出せるか”って視点で評価されたりするんだ。[3]

些細なブレですべて壊れるほどヤワじゃ困る。でも、その微妙さ…何となくいつも脳裏を離れない。

決定論って…別に余計なこだわりじゃないんだよな。いや、そういうものだと片付けたい気分にもなるけど、本当はソフトウェアの信頼性とか、安全面、それから整合性なんてことまでしっかり裏打ちしてる土台みたいなものなんだ。必要不可欠な要素、というやつ。しかし、最近よく話題になる生成系AIシステム――たとえば大規模言語モデルとか拡散型画像ジェネレータって奴らは、なんか根本的に非決定論的っていうのかな。同じプロンプト入力してさ、同一モデル重みで温度パラメータまで全く揃えて動かしても、不思議なくらい毎回違う出力になる時がある。ちょっとモヤる現象。でも、それってバグじゃなくて、本来備わった「性質」らしい。この手のモデルは確率分布からサンプリングする作りになっていてさ…偶然性そのものが基本設計の中に織り込まれているわけ。むしろそれによって柔軟さだったり複合的対応力とか順応力が生まれるのであって、「常に同じ」とは無縁。その代わり、一貫性……あぁ、やっぱそこが最大の問題なんだと思う。ま、いいか。

生成モデルってさ、従来の意味で「これでテストOK！」みたいにバシッと検証できるものじゃないんだよね。不思議だけど、「この入力にはいつも同じ出力が正しいはず」と断言しづらいというか、何とも腑に落ちない面倒くささを孕んでいる。どうしてこうなるかと言えば──例えばシードをきちんと固定しても、ほんの些細なハードウェア差（GPUによって浮動小数点演算の丸め誤差が変わったり）や、モデルパラメータをちょっとでも調整すれば、その結果の出力が微妙にずれてしまう……まあ、有り得る話。これは「テスト可能なソフトウェア」とはとうてい呼び難いし、実際は確率分布そのままに、不安定な挙動を内包したモノだと思うしかなくて。とはいえ、ときどきそれが役立つ場面もあったりするから、一概には否定しきれない感じ。でもまあ、本当に決定論的な立場では検証可能と胸張って言えそうもない。[エージェンティックAI：決定論からさらに遠ざかる] あー、やっぱり頭重い。ま、いいか。

生成系AIがテスト可能性の境界を静かに揺らしている一方で、なんというか……エージェント型AIは、そのルールや構造そのものを破壊してしまう節すらあるんだよね。ま、自分でもどこまで説明できるかわからないけど、この“エージェンティック”な存在——単なる入力と出力の循環装置じゃなくて、意外にも自発的に計画したり、小さなことを覚えたり、時には「勝手に」適応しながら成長したりする。その状態ってすごく曖昧で、動き続ける世界に浮遊していて、見慣れない情報がポンと飛び込んできても平然と反応する。それだけじゃなく、おもしろいのは内部が絶えず変容し続けている点かも知れない。

特にジェネレーティブ技術を搭載したこの手のAI……本質として“稼働中の闇箱（ブラックボックス）”みたいな奇妙さすらまとっている気がする。強化学習だとか教師なし探索？まあ、それも部分的には影響あるだろうし、大規模事前学習モデルって聞くだけで現代風なんだけど、とにかく決定過程はいつもちょっと予測できない。不思議なくらい同じ状況を何度繰り返しても、「またそれ？」とはならず常に違った様子——不連続なのよ。あえていうなら設計思想そのものが確率論的とも言えるし、制限の無い広大な環境へ自然と溶け込んでいる。

想像してみてほしい。「これを渡せば必ずXになる」と断言できた試しなんて一度もないし、「X」かなと思えば時折「Y」だったり、「Z」に逸れる瞬間さえ生じる。その差異が内部要因・外部刺激問わず、数多の偶発性から導かれてしまう——コントロール不可能。だから形式検証という古典的な手法など全く通用しそうになくて。おまけに、デバッグ作業も運次第って感じ？厳密な因果律は捨て去り、結局ぼんやりした関連パターンを見るしかなくなるんだよね……なんとなくだけど、その混沌自体がおもしろさなのかもしれない。ま、いいか。

昔ながらのユニットテスト、つまり「一つ入力して、一つ理想的な答えが出てくる」みたいなアレね、正直もう通じないんじゃないかと思う瞬間が最近多い。これはまあ、核心的な苦しみ――いやジレンマ？――に突き当たる話で。だってさ、不定になるソフトウェアをどう信じればいいんだろ。少なくとも、自分たちは既に並列処理系とかネットワーク系、あとUIフレームワークみたいなのでは少し不確実性というか、その…揺らぎを認めている気もする。現にね、境界値テストや環境シミュレーション、それにフォルトインジェクションなんて手段まで用意して、「なるべく決定論ぽいほうへ持ち込もう」って必死で頑張ったりするでしょ。でも生成AIやエージェント型AIとなると、そういう“小細工”自体効かなくなっちゃう領域なんだよな。本当に厄介。何というか…判断の裏付けがさっぱり見えないわ、動作はサイコロ投げ並みに不安定だわ、おまけに返ってくる文章もちゃんと形式的に検証できないっていう世界。その依存度だけが静かに高まってしまう。不思議だけどクリエイティブライティングとか娯楽寄りだったらそれでまあ許されちゃう場面もあるにはあるけど、一方、本当に正確性とか証明責任を問われた途端、それが致命傷になったりする。同じ結果すら再現できない状況では、不具合直しても本当に直せたのかわからなくなるし……はぁ。ま、いいか。でも内心ずっとこの違和感は消えないんだよね[注意事項]。

論理的な筋道が確かめられない状況では、システムの安全について誰もはっきり保証できない。これ、妙に不安だな……って思わざるを得ない。どこでどうやってその決定がくだされたか説明もできないなら、その仕組みやつくった人に責任を追及すること自体むずかしくなる。まあ、当然っちゃ当然だけど。

## 説明可能性とか観測性って、一体

最近よく耳にするんだけど、一部のAI推進者たちは「説明できるツール」だの、「可観測性ダッシュボード」みたいなのがあれば、それで決定論的な動作（という名の安心感？）と同じものを担保できるって主張してたりする。でも本音を言えば――そういうものは結局、事後分析なんだよね。不正確だったらすまんけど。実際、この種の方法論は振舞いについて“解釈”したり何となく理由づけたりはできるけど、それイコール「保証」とか「信頼」の証しには到底ならなくて。その場その場で説明をつけているだけじゃ、「こう動く」って断言も難しい。しかも仮に実行ごとに反応パターンが異なるとしたら、それ自体もう信頼テストなんて成立しないと思う。

最終的にはどうにも煮え切らないけど…ソフトウェアがもし決定論的――せめて一定範囲内で予想できたり、説明可能だったりしなかった場合、本当に信頼が大前提となる現場では、丸ごと全面的に託してしまうのは気後れするような気持ちになる。（そこのリスク感じざるをえず…）

## 信用・契約・責任…再考するとしたら？

誤解してほしくはないんだけれど――上で述べたからと言って、生成系AIやエージェント型AIが持つ圧倒的パワーとか技術的飛躍を否定したいわけじゃまったくなくて。その性能や達成点には素直に驚きを覚えるところだ。でもさ、ときおり胸によぎる率直な懸念、それも書いておきたい。それはつまり…これらのAIシステムには「決定論的ではない」という特徴があることであり、そのせいで従来型ソフトウェアみたく一通りテストとか厳密な検証・認証工程を通じて安心材料を揃えることができませんよね。うーん、本当にここ難しい。「それでも使え」と言われても。ま、いいか…。

何というか……この認識、僕らのずっと信じてきた根っこをぐらつかせる気がしてならない。いや、本当に。でもソフトウェアの業界って、暗黙でありながらずっと一つの約束事に従ってきたんだよね。それは「ソフトウェアはテストできるもの」だ、みたいな。たとえ不完全でも、とりあえず論理や仕様に即して、その動作を検証したりできる——この点には妙な安心感があったはずだし。そして何より、それが契約上も、あるいは不法行為についても責任追及できる理由になっていた。ま、そう簡単でもないけどさ。

保証や補償、認証だったりサービスレベル契約とかいうものも、「それなりの予測可能性」という前提に頼って成立しているように思う。その場その場でバラバラだったらどうしようもない。でも、こういった条件をシステムが満たしますよ――なんて約束するためには、その条件自体が検証可能で再現性があるからなんじゃないかなと。その“守ります”という言葉自体に根拠が必要なのさ。ただ……もしシステム側が二度と同じ結果を出せません、とかだったら？そうなると話がおかしくなる。

ローン審査とか医療行為推奨をAIエージェント任せたり（いやほんと、大丈夫なのかな…）、あるいは社員や顧客対応まで託す時代なのに、その応答や判断結果に一貫性無かったら、一体何の「保証」になるんだろうね。不安しかないよ。それにもう一歩突っ込むとさ、誰にも完全に出力内容を説明したり操れたりできなくて、それなのに万一ミスとか有害事象（ちょっと考えるだけで胃痛くなる）発生した場合、「責任」ってどう分配するべき？データセンターごとの差異とか半導体レイヤーごとの揺れ、それどころか秒単位でもアウトプット変わるとして……正直、その時々で反応違った挙句トラブル発生した場合、一体誰を責めればいいんだ？

冷静になれと言われても、この問いって別に学問的なお遊びなんかじゃないと思う。現実だ。あぁ、本当に頭抱えたくなるな…。

本段、なんだかずっしりとした責任やリスクについて触れざるを得ない状況だ。製品責任――いや、それだけじゃなくて、企業のリスク管理だったり、商用ソフトウェアライセンスの根底さえグラついている気配がある。以前のままの契約構造を持ってしても、「そもそも従来型とは全然ふるまいが違う」ような新しいシステムに、そのまんまあてはめられるわけがないよね……正直言うと、自作ソフトですら、不意に法的なトラブル種になっちゃう可能性が出てくるのだ。「弊社のアルゴリズムはテスト済みで、きちんと品質保証通っています」と経営層が胸張って断言するのは、もう簡単じゃない。なんなら疑問形になる場合も増えてきた。

というのも、生成AIやエージェント型システムの場合、「テスト」自体の定義すらあやふやで昔から馴染んでいたその意味合い……全然変わってしまったと思わされることが多くなった。それ故に、とどのつまり法律的な責任範囲はベンダー外部だけには収まらなくなる。ほら、自社内部――データサイエンティストだとか執行側幹部とかガバナンスチームまで、ごく自然に波及してしまう訳なんだ。ちょっとため息出そう。

先端的システムでは、「厳格な正確性証明」ではなく「設計された通り、多分動いているっぽい」というあやふやさ（ああ、これ弱みかな）こそ強調され始めたとも感じる。もう全面的な見直しが求められている雰囲気――ソフトウェア品質だとか契約面で提示していた保証・更には法律上誰がどう責任取る？なんて部分までひっくり返されているよね。そのうえ裁判所と立法府まで、新時代向けルール構築に必死について行こうとしているようにも映る。この流れ――ちゃんと認識しないままだったら、本当にまずいかもしれない。ただ漫然と慣例に従って書面化したものへ信頼という名目で寄り掛かれば…それって儚い「砂上」に身を置く様なものなのだから。

こういう生ぬるい現実をイノベーションなどとは、とても呼べたものじゃない。本当は、それ幻想だった――そんな感覚さえ湧いてしまった。ま、いいか。