2026-10-10
無料のAIを3つ並べて調べ、Claude に裏を取らせる。作り話の統計はこうして落とした
調べものを AI に頼むと、それらしい答えがすぐ返ってきます。困るのは、その中に作り話が混ざっていても、見た目では区別がつかないことです。
私はいま、調べものを2段に分けています。
- 無料で使える別のAIを3つ並べて、同じ質問を投げる（候補を出させる）
- Claude に、検索で1つずつ裏を取らせる（本当かどうかを確かめさせる）
この記事では、そう分けた理由と、実際に作り話を落とした例を書きます。
使っているもの
質問を1回打つと、3つのAIに同時に投げて、答えをそのまま1つのファイルに並べる小さな道具を、Claude に作ってもらいました。並べるだけで、どれが正しいかの判定はしません。判定は次の段で Claude がやります。
いま並べているのは次の3つで、どれも無料の枠で動いています（2026年9月に調べた時点。各社の無料の枠はよく変わります）。
- Gemini（Google のAI）
- gpt-oss（Groq という会社が無料で動かしている公開モデル）
- Qwen（同じく Groq で動く公開モデル）
最初は「答え」を聞いて、外した
最初は普通に「いま無料で使えるAIの窓口はどれ？」と聞きました。返ってきた答えは、3つともそろって外れていました。
- gpt-oss は、7社の表を自信満々で出してきました。出典のURLまで付いています。ところが中身は2年ほど古く、すでに無い製品が並んでいました。自分が動いている会社の名前すら入っていませんでした
- Gemini は「私の知識は2025年1月まで」と最初に断ったうえで答えました。態度は正しいのですが、中身はやはり古いものでした
- 検索しながら答えられる Claude だけが、いまの実物を出してきました
AIの答えには、学んだ時点より新しいことは入っていません。そのうえ、知らないことを「知らない」と書くとは限りません。
聞き方を変えた：「答え」ではなく「候補」を出させる
それでも3つ並べる意味はありました。役に立ったのは、答えではなく候補でした。
- 自分の知らない名前が出てくる。それを Claude が調べたら、3つとも「ずっと無料」ではありませんでした。これで落とす根拠になりました
- 答えが食い違ったところが、調べる入口になる。「1日14,400回まで無料」という説を、Claude が実際に確かめたところ、それは小さな判定用のモデルだけの数字でした
- 自分が見落としていた観点が出てくる
だから聞き方を変えました。「最新の上限は？」ではなく、「候補を挙げて。確かめられないものは分からないと書いて」。
実例：出典つきの作り話を落とした
このブログを始めるときにも、同じやり方で調べました。「Claude を使った作業の記事で、よく読まれているのはどんな型か」と3つに聞いたのです。
gpt-oss は、根拠として次のようなことを挙げてきました。
- note の公式レポートに「失敗談の記事は、無料の記事より購入率が約1.8倍高い」とある
- BOOTH の売上ランキング（公開されていない仕組みから取った統計）で、上位はプロンプト集と手順書だった
- 参考ページとして note の「販売実績レポート」のURL
どれももっともらしく見えます。ところが、BOOTH は販売数を公開していません。「公開されていない仕組みから取った」統計を、AIが見られるはずがありません。note のレポートも、示されたURLを開くと「見つかりません」と出て、検索しても「1.8倍」という数字は出てきませんでした。
これらは記事には1つも使っていません。代わりに Claude が検索して、実在が確かめられた記事のタイトルだけを手元に残しました。
もう1つの Qwen は「現在は2024年5月時点」と書いていました。自分がいつの知識で答えているかを書いてくれるだけ、まだ扱いやすい相手です。
やってみて分かったこと
- AIに数字を答えさせない。数字は、検索で一次情報（公式のページ）を取ってから書く
- 出典のURLが付いていても、それだけでは信用しない。URLも作れてしまう
- 複数のAIを並べる価値は、正解を多数決で決めることではない。知らない名前と食い違いを拾うこと
- 最後に確かめる役を1つ決めておく。私の場合は、検索ができる Claude
同じ質問を3つに投げても、手間はほとんど変わりません。そのぶん、自分ひとりでは思いつかなかった候補が手に入り、作り話は裏取りの段で落とせます。