AIの評価は、一週間、一ヶ月単位で激変するため、今この瞬間の感想を書くのは少し気が引けるのですが……。
現在、私がPro版(有料プラン)を契約しているのは、Claude CodeとGemini 3.0の2つです。
1. 開発の主力:Claude Code
コードを書く際は専らClaude Codeを利用しています。 しかし、コーディングだけでPro版の利用枠を使い切ってしまうため、その他の用途で試す余裕がほとんどないのが現状です。
Geminiは、以前お話しした「PDFのテキスト化」を主目的として、一ヶ月限定のつもりで契約しました。ここで圧倒的なパフォーマンスを見せてほしかったのですが、結果は極めて残念なものでした。
PDFテキスト化の精度: 手抜きや誤変換が続出し、実用に耐えませんでした。
コード生成: なかなか要望通りのアウトプットが出てきません。
情報検索(国家試験関連): 試験問題や正答の公開日を調べさせましたが、内容がいい加減。年2回実施の試験など、条件が複雑なのは理解できますが、それにしても精度が低すぎます。
URL参照: 各国家試験の公式サイトURLを調べさせても、ほとんどが「Not Found」になるか、ただのGoogle検索結果へ飛ばされる始末。結局、Claude Codeに調べ直してもらうことになりました。
性格の問題: 一番閉口したのは、返事だけは「できます」と威勢がいいものの、何をやらせても必ずどこか抜けている点です。あまりの「うっかり」ぶりに、水戸黄門にちなんで「八兵衛」と名付けました。
画像生成: 評判の良い画像生成機能については、今のところ必要性がなく試していません。
結論
現状、ChatGPTやPerplexityのPro版は使用していないため比較はできませんが、期待していたGemini3.0に関しては、本当に残念な結果に終わりました。
追記
Gemini3.0に対し、問題の回答の改行コードを「 | | (半角スペース1個+縦線1個+半角スペース2個+縦線1個+半角スペース1個)」で出力するよう依頼しました。Gemini側の言い分としては、「自動的に正規化が働いてしまって……」とのこと。結局、こちらが望む形にするには、出力後に手動で置換作業を行うしかありません。
残念ながら(?)というべきか、Claude Codeの方はたった1回の指示で完璧に出力してくれました。この差を目の当たりにすると、なんとも言えない気分になります。