AIの苦手な問題

国家試験には公式の解説データは存在しないため、アプリには解説機能を搭載していません。

しかし、「やはり解説が欲しい」というユーザーの皆様の声にお応えするため、現在はAI(Gemini 2.5 Flash API)を活用し、「参考情報」という形でAIによる回答を表示しています。


AIの回答精度には試験ごとにバラつきがあり、正答率が100%に近いものもあれば、30%程度に留まるものまで様々です。そのため、AIが明らかに誤回答をした問題については、「参考情報」を掲載しない判断をしています。


特にAIが苦戦しているのは、以下のような形式の問題です。


例1(個数問題): 「誤っているものはいくつあるか?」


例2(組み合わせ問題): 「正しいものの組み合わせはどれか?」


こうした問題では、AIが論理的に矛盾した回答をしてしまうことがあります。

例えば例1の場合、「正解は『2つ』です。理由は、ア・イ・ウの3つが不適切だからです」といったように、数は「2つ」と言いながら理由は「3つ」挙げるような、自己矛盾が生じるケースに頭を悩ませています。


AIの計算ミスを防ぐため、現在はプロンプト(指示文)を改良し、『まず全選択肢の正誤を判定させ、その結果と最終的な個数が一致しているかAI自身に再確認させる』という工程を組み込んでいます。


何度も試行を繰り返すため1日の利用制限を超えてしまう日も度々でAIの利用料金がバク上がりです。