ChatGPTなどのAIは、インターネットや書籍など、あらゆるデータソースを学習している。この世界にあるほぼ全ての文章、画像、動画を学習していると言っても過言ではない。これまでの歴史において人類が蓄積してきたものをほとんど全部、知っている。聞けば大体なんでも答えてくれる（間違いも多いけれど）。
AIが出力できるのは、学習した知識だけではない。たとえば、「ピンク色のクレヨンと野球のボールをフライパンで炒めるとどうなるか、簡潔に答えてください」とChatGPTに尋ねると、以下のような回答が返ってくる。
ピンク色のクレヨンは熱で溶けてドロドロになり、野球のボール（通常コルク芯やゴム製の芯を布や革で覆っている）は外側が焦げるか燃え、中の素材が変形・劣化する可能性が高い。
ピンク色のクレヨンと野球のボールをフライパンで炒めた人はたぶん、誰一人いないと思う。そのようなレポートも見当たらないだろう。それでも、ChatGPTは既知の情報から、未知の状況をある程度推測することができる。こうして見ると、ChatGPTはそれなりの知能を獲得して、世界についてかなりの部分を知っているように思える。
しかし、それはまやかしだ。ChatGPTが知っていることは、世界全体のほんの一部に過ぎず、その割合は限りなくゼロに近いと言ってもいい。ChatGPT、Grok、Gemini、なんでもいいけれど、画像生成機能を持つAIに次のリクエストをしてみよう。「ベッドの底面にカメラをギリギリまで近づけて撮影した写真を作成してください」と。おそらく、想像した結果は出てこないと思う。余裕があれば実際にそのような写真を撮ってみても良い。ぼんやりと木のようなものが写った、よくわからない写真になるはずだ。
そのような意味不明な写真を撮ることは通常、ない。なにかの間違いで撮ったとしても、失敗作として削除される。一方、インターネットにアップロードされる写真のほとんどは、誰かにとって「意味のある」写真だ。撮影者がなんらかの意図をもって、なにか具体的なものを撮影する。写真にしろイラストにしろ、意味のないものはほとんどない。
でも、現実世界はもっと無意味なもので溢れている。現実のあらゆる空間にカメラをランダムに配置して写真を撮ったとする。するとそれは、まるで赤ん坊がカメラで適当に撮ったような、ほとんど意味のわからない写真になる。ぼやけていたり、真っ暗だったり、近すぎてなにもわからなかったり。確率的には、そのような写真が大半になるはずだ。けれど、ChatGPTが学習する画像には、そうした「失敗作」は含まれていない。
文章についても同じことがいえる。ネットにしろ書物にしろ、表現された文章はなんらかの意味を持つ。ナンセンスで意味不明に思える文章であっても、完全なランダムに比べれば充分に意味がある。明確な意味、言い換えれば作者の明確な意思を含む文章だけをChatGPTは学習している。
表現される事柄は、この世界のほんの一部に過ぎない。ほとんどゼロと言っても良い。少なくとも人間は、表現するよりも遥かに多くの物事をインプットしている。言葉にも、イメージにもならない無数の刺激を常に浴び続けている。さらに言えば、人間のインプットでさえも、この世界のごくわずかな部分でしかない。人間は世界についてほとんどなにも知らないけれど、AIは、人間が知っているわずかな部分さえも、ほとんどなにも知らないのである。だから、AIがなにか言ってきても、あまり気にしなくて良い。このエッセィを読ませても、どうせ「もっと具体例を」とか「テーマを整理しろ」とか「議論の深掘りを」とか「意味の意味を定義すべき」とか「AIの可能性にも焦点を」とか「ポジティブな提言を」とか「感情的になるな」とか「無断学習はしてないよ」とか「この部分は皮肉が効きすぎている」とか、そういうつまらないちゃちゃを入れてくることは予想できる。しょせん、その程度の想像力でしかないということだ。