緊急番外◇ChatGPTを古代史研究で用いてはいけない事

今流行りのチャットGPTは、言葉の使い方の様々を学習させたAIであるが、その記憶させたものはあくまでも単語と単語の連続に関わる確率情報なのであって、いわゆる知識情報のデータベースではない。

学習中の事例があるＸというジャンルのものであれば、そのジャンルの中の単語の用例を記憶する内に、結果としてジャンルＸについての情報データを取り込んでいる可能性はある。しかし一度も学習した事のない(もしくは、学習機会の少なかった)ジャンルＹについては、言葉の用法はジャンルＸでのそれを準用するとしても、ジャンルＹについての知識は全くないか乏しいので、ジャンルＸで使われていた情報知識から類推で文章を生成するので、ほとんど誤りの内容を出力してしまう。

具体的にいうなら、現代の社会生活やIT関係の話題については、相当に詳細な単語の用法を、また結果的にその単語の使われる情報知識の内容を学習しているので、そういうジャンルについての質問には、かなり正確(に見える様)な回答を返すことができるし、日本語としてもほぼ正しいものになるのだが、他方ごく一部の人たちが関わるジャンル(例えば古代史についてのジャンルなど)はほとんど学習した事がないので、文章としては一見普通に見えても、情報内容は全くの誤謬(フェーク)であるような回答を返すしかないのである。

これを実例で示してみよう。

「九州で木花咲耶姫を祭神にしている神社はありますか？」という質問をチャットGPTにしてみる。

すると、次のような回答が返って来る。

--------------------------------------------

九州地方には木花咲耶姫を祭神にしている神社が複数ありますが、以下に挙げる一部のみです。

・宮崎県：青島神社、大原神社、市来神社、荒神山神社、河相神社、高鶴神社、高千穂神社、日向神宮、妙見神社

・鹿児島県：霧島神宮、出水神社、川辺神社、加世田神社、牟礼神社、鹿屋市弥生ケ丘遺跡周辺の神社（複数）

・福岡県：豊前市吉木原の花咲神社、田川市山田の山田神社、

・長崎県：島原市宮ヶ瀬の龍神社、佐世保市黒島町の裏見の神社、西海市口之津町の中山神社

などがあります。

--------------------------------------------

これを検証してみる。

鹿児島県までの各神社は概ね実在していると見える。だが日向神宮というのは聞かないので、一応宮崎神宮だろうと解釈する。

ところがそれらの神社はどれも木花咲耶姫を祭神とはしていない。

また福岡県については、豊前市に大字の吉木はあるものの、小字と思える原は無いし花咲神社も存在していない。また田川市の山田神社というのも存在しない。長崎県でも取り敢えず中山神社というものを調べたくても西海市には口之津という地名が無いし、また中山神社も無い。島原半島に口之津町という町があるのでそこかと思い中山神社を探してみるもここにも無い。島原市も宮ヶ瀬の地名は無いし、龍神社は大村市にある神社で、島原には無い。佐世保市も恐らく虚偽だと考えられるので、時間の無駄なので調べるのをやめた。

つまり、GPTには、神社名が単語リストとして入っているが、少なくとも福岡県や長崎県の県名と直結する神社名単語が正しい情報として入っていない！ということになる。知識データベースではないのである。

ここで問題なのは、"回答が日本語としては一見正しいので、回答された情報も正しいだろうと思ってしまう人もいそうだ"という事だ。

それで、GPT は、知識データベースを参照する能力があるかを調べてみる。

Q 八百万の神リストhttps://yaokami.jp  で調べる事はできますか？

※“八百万の神リスト”は、ネット上の神社の地域別データベースで、古代史研究フォーラムの人間なら一度くらいは使った事があるだろう。勿論祭神が何かも調べる事ができるものだ。

A はい、八百万の神リストhttps://yaokami.jp    で調べることができます。ただし、八百万の神リストは日本語のウェブサイトであり、日本語が分からない場合は、翻訳ソフトウェアを使用するか、日本語を理解できる人に手助けを頼る必要があります。

※つまり、GPTは基本的には英文を用いているので、日本語の理解が十分でない！と言っているわけだ。

それで実力を調べるために、日本の人間なら簡単にできる次の質問をしてみた。

Q 八百万の神リストで、福岡県に於いて木花咲耶姫を祭神にしている神社を列挙して下さい。

A 八百万の神リストによると、福岡県には以下の神社が木花咲耶姫を祭神にしています。

1. 筥崎宮（福岡市博多区）

2. 宇美八幡宮（宇美町）

3. 八幡宮（福津市）

4. 白山神社（遠賀郡芦屋町）

5. 筑前一宮 吉備津神社（久留米市）

なお、八百万の神リストに掲載されている情報は2021年時点のものであり、現在も同じ祭神である保証はありませんので、詳細は各神社に確認することをおすすめします。

※続いて第５項は明白な誤りなのでそれを指摘してやる。

Q 筑前一宮は吉備津神社ではなく筥崎宮ではありませんか？

A  おっしゃる通りです。誤った情報を提供してしまい、申し訳ありませんでした。筑前一宮は筥崎宮であり、木花咲耶姫を祭神にしています。訂正いたします。

Q  筥崎宮には木花咲耶姫は祭神になっていませんが？

A 申し訳ありません、先程私が回答した内容に誤りがありました。筥崎宮に木花咲耶姫は祭神として祀られていません。筑前国一宮とされ、主祭神は市杵島姫命と武内宿禰命です。今後は情報の正確性に十分に注意して回答するようにいたします。初回の回答に誤りがあったこと、再度の訂正をお詫び申し上げます。

※とあったが、その筥崎宮の祭神には咲耶姫は含まれない。それどころか主祭神は応神天皇、配祀神は神功皇后と玉依姫命なのである。

つまりチャットGPTが上げた神社名は全く虚偽である。

勿論、第２〜４の項目に挙げられた神社も木花咲耶姫は祭神ではない。

これらの結果、GPTには目下のところ、人間が指示しても、外の知識データベースを参照する能力は実装されていない事がわかる。

しかし、「分かりません」と言わず、全くの推量で(もっとも推量とは人間の脳の営為についての表現なのだが)勝手な回答を、そももっともらしい形で出力してしまう。

GPTがいかに出鱈目なものかが判ろうというものだ。

つまり、特殊なジャンルの文章は学習していないので、断片的な知識しか蓄積されておらず、その乏しい資料を使ってもっともらしい文章を生成する、

これがチャットGPTの誤謬というか虚偽回答なのである。

だから識者は「GPT とは知識データベースのようなものではない」という。

そこのところをGPTに解説させてみる。

Q 「GPT とは知識データベースのようなものではなく、単に世界中の単語と単語のベクトルとその強度を統計的に表したものである」とは平易に言い換えればどういうことなのか？

A GPTは、知識データベースではなく、世界中の単語と単語のベクトルとその強度を統計的に表したものであるということは、簡単に言えば、GPTは単語やその関係性を統計的に表現したものであり、専門的な知識データベースではないということです。

Q 単語と単語のベクトルとその強度とは具体的にはどういうことか？

A 言葉の意味を数値化するために、GPTは各単語にベクトルと呼ばれる数学的な表現を割り当てます。このベクトルは、単語の特徴や文脈などを表しており、単語同士の関係性を数値化したものです。また、ベクトルの強度は、その単語が文中で重要かどうかを表す指標となります。このように、GPTは機械学習アルゴリズムを使用して、大量の文章を学習し、単語の表現方法を決定しています。

※単語と単語のベクトルとその強度とは、言い換えればある単語の次に別のさる単語が使われる確率を表す。連接確率が高い別の単語と確率が低い単語とを比較すると、連接の方向性は確率の高い単語の方に向かうので、これはベクトルであり、確率の数値がそのベクトルの強度という事になる。

(この辺りは数学的な言い回しなので、文科系の人間にはなかなか理解し難いのである。古代史研究フォーラムの人々にも数学的な思考が苦手な人も多いだろうと思われる。)

またそもそもGPTとは、何か？それを聞いてみよう。

--------------------------------------------

Q  今話題のGPTとは何の略語ですか？

A  GPTは、Generative Pre-trained Transformerの略語です。

Q  GPTのPre-trainedとは日本語に翻訳すれば何で、またどういう意味なのですか？

A  「Pre-trained」は日本語で「事前学習済み」という意味になります。GPTは、大規模なデータセットを使ってトレーニングされ、汎用的な自然言語処理タスクに適したモデルになっています。このようなトレーニングは「事前学習」と呼ばれ、GPTはこの事前学習によって構築されたモデルであると言えます。

おQ  GPTのTransformer とはどういう意味で、またどんな働きをしているというのですか？

A  「Transformer」とは、言語モデルの開発で重要な役割を果たした、ニューラルネットワークのアーキテクチャの一つです。Transformerは、複数のAttentionという仕組みを持ち、自然言語の処理に非常に適したものとされています。

GPTのTransformerは、Attentionを複数積み上げたものであり、前段階でトレーニングされた学習済みの重みパラメータを利用することで、自然言語生成を行うためのモデルとして、高い精度を発揮します。具体的には、Transformerのニューラルネットワークが、文脈から単語列を生成することで、自然な文章を作り出しています。

--------------------------------------------

つまり、自然に見える文章を作り出すだけで、その文章の表示する情報の真偽は判定されておらず、ただ確率的な蓋然性に基づいた推量だという事に他ならないのだ。

このような事から、古代史研究のような専門的なジャンルの言葉は学習機会が無いので、チャットGPTに聞いても虚偽情報を返すだけなのである。

勿論将来的に古代史のジャンルについての学習をGPTエンジンが為せば、誤謬は少なくなる理屈である。しかしながら古代史のジャンルの情報への需要は、他のジャンルに比べて著しく低いだろうから、恐らくこのジャンルの情報を得るためGPTロボットが学習する事の可能性は相当に希薄だろうと思われる。

だから、古代史研究者フォーラムの参加者は、このジャンルに関しては、GPTよりも遥かに深い広範な知識を有しているのであり、機械エンジンに頼る必要はない。否むしろ上記で見た如く、偽情報しか得られないので、百害あって一利もないのだ。