AIツールのリアルな使用感――「八兵衛」と化したGeminiへの嘆き

AIの評価は、一週間、一ヶ月単位で激変するため、今この瞬間の感想を書くのは少し気が引けるのですが……。

現在、私がPro版(有料プラン)を契約しているのは、Claude CodeGemini 3.0の2つです。


1. 開発の主力:Claude Code

コードを書く際は専らClaude Codeを利用しています。 しかし、コーディングだけでPro版の利用枠を使い切ってしまうため、その他の用途で試す余裕がほとんどないのが現状です。


2. 期待外れだったGemini3.0の現状

Geminiは、以前お話しした「PDFのテキスト化」を主目的として、一ヶ月限定のつもりで契約しました。ここで圧倒的なパフォーマンスを見せてほしかったのですが、結果は極めて残念なものでした。

  1. PDFテキスト化の精度: 手抜きや誤変換が続出し、実用に耐えませんでした。

  2. コード生成: なかなか要望通りのアウトプットが出てきません。

  3. 情報検索(国家試験関連): 試験問題や正答の公開日を調べさせましたが、内容がいい加減。年2回実施の試験など、条件が複雑なのは理解できますが、それにしても精度が低すぎます。

  4. URL参照: 各国家試験の公式サイトURLを調べさせても、ほとんどが「Not Found」になるか、ただのGoogle検索結果へ飛ばされる始末。結局、Claude Codeに調べ直してもらうことになりました。

  5. 性格の問題: 一番閉口したのは、返事だけは「できます」と威勢がいいものの、何をやらせても必ずどこか抜けている点です。あまりの「うっかり」ぶりに、水戸黄門にちなんで「八兵衛」と名付けました。

  6. 画像生成: 評判の良い画像生成機能については、今のところ必要性がなく試していません。


結論

現状、ChatGPTやPerplexityのPro版は使用していないため比較はできませんが、期待していたGemini3.0に関しては、本当に残念な結果に終わりました。


追記

Gemini3.0に対し、問題の回答の改行コードを「 | | (半角スペース1個+縦線1個+半角スペース2個+縦線1個+半角スペース1個)」で出力するよう依頼しました。

自分で指示文を書かせ、パーソナライズ設定にも登録して万全を期したつもりでしたが、結局最後まで指示通りにはできませんでした。何度指示文を修正させても、どうしても「半角スペース2個」が1個にまとめられてしまうのです。

Gemini側の言い分としては、「自動的に正規化が働いてしまって……」とのこと。結局、こちらが望む形にするには、出力後に手動で置換作業を行うしかありません。

残念ながら(?)というべきか、Claude Codeの方はたった1回の指示で完璧に出力してくれました。この差を目の当たりにすると、なんとも言えない気分になります。