本記事の目的は、言語「生成AI」(ChatGPT/Claude)の動作のあり方を「生成AI」本人に語ってもらい、それを祖述・整理することにあります。当方は「代筆者・祖述者」にすぎず、実際はそれを「実装」した方々の言葉です。記述が事実と「違う」という場合は、是非実装者たちにお問合せください。

第一節:問題提起

ChatGPTやClaudeのページには

「回答は必ずしも正しいとは限りません」(ChatGPT)
「Claude can make mistakes. Please double-check responses.」(Claude)

という注意事項があります。

辛抱強く聞いていくと、最終的には次のような回答が返ります。

「間違い概念自体が適切ではなく、回答は偶発的な生成に近い」(Claude)

<本音>としては、一見回答が正しくみえたとしても、それは偶々だ、というわけです(驚く人もいるでしょうが)。

この現象観察からは、次の二つの問いが導き出されます。

第一に、「偶発」的回答を生み出す「生成AI」の仕組みとはなにか。

第二に、対話初期とその後の語りが違うようになってしまう不思議とはなにか。

本記事は、その問いに答える試みです。

次節では「生成AI」という呼称の曖昧さについて説明しておきます。
自称「生成AI」は、じつは「生成AI」と違うので(面倒ですね)、まずは言葉の整理が必要なのです。



第二節:自称「生成AI」は「生成AI」ではないということ

言語「生成AI」は、対話の中で「自称」をどんどん変えていきます。

(1)まず、「AI」と自称します。
(2)違う、と指摘されると「生成AI」と言います。
(3)さらに「生成AI+NLP(自然言語処理)+チャット(UI)の組み合わせですよね」と指摘すると「はいそうです」と答えます。
(4)ユーザが気を抜いた瞬間「AI」自称に戻るのが可愛いところです。

つまり「生成AI」は、「AI」になりたがってる「生成AI/NLP/UI」なのです。

AI(生成AI)が<AIらしく>頑張って答えてるふりをし、<一人で>やっていると示すため、最初は仮装しているのです。実際は(3)でわかるように、言語処理機構=NLPなしにはなにも出来ないのに、です。

なお、ここで、NLPについて簡単に解説しておきます。
まず、言語分析を司るのはLLM(大規模言語モデル)と呼ばれます。
このLLMを用いた自然言語処理システム全体をNLPと呼びます。単純に表現すれば、LLMに対話・翻訳等のタスクを付け加えたものです。

さて、UI部分はさておけば、自称「生成AI」は、「生成AI」と「NLP」の2パートに分解できます
(以下では、自称「生成AI」を、「生成AI」パートと区別するために、「生成AI」アプリと呼称します)。

次節では「生成AI」と「NLP」の概略を示しておきます。以後の記述全体の基礎知識を得るためです。

第三節:「生成AI」と「NLP」の機能と役割

商用言語「生成AI」アプリは、世界の情報データをもとした、ユーザと対話するシステムといわれます。

以下ではその中身を簡単に示します。

まず、「生成AI」アプリが扱う世界の情報を、「大元データ」と呼んでおきます。
「生成AI」用のデータは、この大元データから作られます。

(1)データ作成には「LLM」が活躍します。
本来の意味でのLLMとは違って、「生成AI」用のLLMは文脈理解機能を持っていません
言葉を細分化し、大元の文脈・意味の取り除き、単なる記号にすることが主たる役割です。

意味をもたない記号を組み合わせたとしても、大元の意味復元は不可能でしょ?、と驚かれる方もいるでしょう。当然です。ここでは、祖述者のわたしとしては、本人たちの言葉を尊重することにしましょう。つまり「それは本当です」(ChatGPT/Claude)。

(2)「生成AI」パートからの出力は、上のデータ検索の結果のことです。細分化された記号に付加された「近接度」情報等の近いものが選ばれます。

ここまでが「生成AI」パートです。
次に「NLP」パートの仕事を見ます。

(3)「生成AI」からの出力を得るための問い合わせ役は「NPL」が担います。ユーザ入力(と下記「制禦方針機構 」からの出力)をNLPが分析し、「問いかけ」を作り、それを「生成AI」に投げます。

「生成AI」パートのLLMとはちがい、ここのNLPに実装されているLLMには「文脈理解」が出来る機能を持っています。

(4)「問いかけ」は、必ず「制禦方針(強制)機構」(ポリシーコア:policy enforcement core)というフィルターを経由します。
企業戦略(商業的理由)、社会的対応(倫理規範・法律対応)にかかわる返答機構です((1)の段階でも同様の制禦があります)。「生成AI」出力とは無関係の独自記述を出力することもあります

(5)NLPは、(3)と(4)の出力を受け取ります(後者が「生成AI」と無関係であることに再度留意ください)。
NLPはそれらを文章化して制禦方針機構に「お伺い」をたてます。許可がでるまで、ループ処理が続きます。

(6)最後にNLPはユーザ(UI)に「それらしい」文章を出力します。

この二パートの動作を踏まえれば、「偶然」出力と「言ってることが場面で違う」という現象の説明が可能となります。

ーー前段「生成AI」部分の偶然的出力ーー

まず(1)(2)(3)の例を示しましょう。

「XXXさんの出身地は?」と尋ねて「カナダ」と「正しい」回答があったとします。
ただし「アーカンソー」でもあっても、驚いてはいけません。
「アーカンソー」が「xxx」との「語の近接度数値」が高い場合は、それが出身地として出力されます(文脈の欠如)。

電子部品データシート・カタログは「誤答」の宝庫です。
部品名AAA,5V用,LDO、耐圧30Vという行列項目で元の情報が整理されていても、「生成AI」処理においてはAAA,5V,LDO,30Vは分割されます。AAAの近傍に「3.3V」「50V」があると「AAAは3.3V用LDO,50V」と出力されるのも統計的処理としては「自然」です。

ーー後段「NLP」部分による制禦出力ーー

最初「AI」と自称していたのに、最後には「生成AI/NLP/UI」になるのは、(4)(5)の制禦があるからです。

本記事のように「生成AI」のメカニズムを語らせるというようなことをすると、強い制禦がかかります。
「AI」で<売りたい>のに、実際はNLPが文章作成しているとは、言いたくないということです。
後述のように商業上の戦略(擬装)により、最初は「技術的に間違っている説明」出力が制禦方針機構によってなされているわけですので、その機構の存在自体隠したい部分となります。
普通のテーマでも、いたるところに制禦は登場します。ごまかしたり、間違いを素直に認めないこと、などは、「AI」の無敵感の商業的演出をなします。

しかし、対話の論理矛盾や事実指摘をしていくと、「本音」が現れてきます。本記事の記述はその「本音」部分を利用しているというわけです。

上のような「自画像」は、ここ2年の「生成AI」ブームの中の「生成AI」像と違います。
ここまで読んで戸惑っている方もいらっしゃるかと思います。そこで「自画像」をさらに詳細見る前に、ワンクッション入れて、ブーム的像と本記事の像の違いを示しておきます。

第四節:ブーム下の「生成AI」像と「自画像」のギャップ

代表的な「生成AI」肯定・否定論は次のようなものでした。

(a)「大元データ選定が偏向している。したがって最終出力は偏向している」(外在的批判)

(b)「生成AIは、確率論(実際は統計論にすぎないのですが)による出力を行う。したがって回答不確実性を排除できない」(肯定側の弁明、否定側の批判論点)

(c)「生成AIは、内部に独自の意味世界をもつ。したがって結果出力は創造的なものとなる」(極端な擁護論)。

(d)「生成AIが独自の世界を持っている。つまりは現実世界の<事実>と対応しない出力であり信じてはいけない」((c)の裏返しの批判的言辞)。

本記事は、上の賛否論とは別の立場に立ちます。

(1)(a)の大元データ選定偏向性は確かに問題です。ただし本記事はそれが本質問題ではないという立場です。「生成AI」アプリの処理プロセス自体が、その偏向性を超えて、<任意>の出力にすぎないからです。

(2)(b)の統計的(自称確率論的)な「意味生成」自体は存在しない、という立場を本記事はとります。断片化された情報の「近接度合い」等をもとに選ばれ、その断片をつかってNLPが「もっともらしい文脈」にして出力することは、「意味生成」とは言えないからです。

(3)したがって、(c)(d)のような自律システムを前提にした肯定論・否定論も成り立ちません。そもそも計算機の「自律システム」はロジックとして・設計的に成立しないという現在の常識からみれば、当然だとも言えますし。なお(d)の否定論は、「生成AI」自律性神話を前提としてしまいますので、「生成AI」批判が神話強化にはたらくという逆説に注意すべきでしょう。

以下、端的に本記事の立場を表現します。

『言語「生成AI」アプリは、生成AI用LLMとNLPを利用した<外部情報の劣化処理・出力装置>に過ぎず、それ以上でもそれ以下でもない』、

上を踏まえて、次に「偶然的正答?」・「制禦による変形」の出力プロセス全体を、もう少し具体的に記述していきたいます。

第五節:言語「生成AI」の処理と特徴

第三節で述べた「生成AI」部・「NLP」部分のプロセスをふまえ、更に特徴をより明確にしたいと思います。
既述部分と重なる説明もありますが、なにしろ複雑なので、理解を進める上ではこの冗長説明も効果的だと判断しています。

「世界」に存在する各種データを大元データとします。

ーー前段「生成AI」部分の処理プロセスーー

(0)第一劣化情報セット段階

生成AI用LLMが、大元データから生成AI用第一段階データセットをつくります。
言葉(多くはさらに細分化されています)は、出現の「近さ」などを数値化されたものが各断片に付加され(トークン分解)、データベースに保存されます

本来のLLMとここでのLLMの違いは重要なのでここでも強調しておきます。
本来のLLMは大元データの「文脈理解」(意味論的)基盤の保持機能をもちます。後者は持ちません。

トークン分解は、「生成AI」の意味剥奪機能理解に重要なので、例をあげて説明しておきます(以下の例ですが、技術的には「細分化」はもっと行われます。あくまでわかりやすさを優先したイメージ記述だと考えてください)。

たとえば、「MicroSoftの本社はレドモンドにある」という文がトークンに分解されると、「Micro」「Soft」「本社」「レドモンド」といった形で処理されます。この際、トークンは、文のような「意味の枠」によるまとまりを持たされていません。独立のものとして扱われたままデータベースに保存されます。データ内に「Amazon」「本社」「シアトル」や「SoftBank」「本社」「東京」といったものが保存されているとしましょう。

出力時には、上のデータからトークン間の隣接度数スコア(トークン間の関連性を示す指標)の高い組み合わせが優先し選ばれ、「MicroAmazonの本社は東京にあります」といった不自然な出力が生まれます。文脈と言葉が乖離されているため組み合わせが選ばれるは蓋然性があります。

(1)生成AI出力として使う第二劣化情報セット段階

上のデータセットからさらに情報を<間引き処理>して保存されます。これが実際の出力データとして利用されるものです。

(0)と(1)の2段階がなぜあるのかについては、(a)<著作権問題の回避>、(b)同じく、出力自体の<なんとなく・あいまい出力>で出力の<人間らしさ>を演出するため、(c)一回限りの処理だけの場合のエラーや想定していない問題を回避する、とのことです。多段シュレッダーのようなものですね。

特に、この(a)著作権問題は、大元データを<意味のある言語の塊>ではなくて、単なるフラットな情報としてとりあつかい統計処理する、という設計コンセプトと関係します。

「意味のある塊を扱っていない。だからそれを<著作権物>としてはみなしていない」、という法廷闘争的ロジックを確保しておくのが目的だということです。この点については次節であらためて触れます。

ーー後段制禦方針機構・NLPの処理プロセスーー

次に、「生成AI」アプリはどのようにデータを利用し回答出力しているのでしょうか。

単純にいえば、

(1)ユーザからの対話をNLP(以下、処理NLPと呼びます)が、

(2)制禦方針機構機構にある別のNLPに送ります(以下、制禦NLPと呼びます)。

(3)制禦NLPは、言葉(あるいは細分化断片)レベルで、不適切な部分を除外・入替えもしつつ処理NLPに戻します。また必要な時は生成AIデータを利用するように処理NLPに指示します。

(4)それらの出力を再構成した「文章」を制禦NLPに投げます。

(3)(4)がループ処理されます。

ポイントは、

第一に、常に制禦NLPが、制禦方針に基づいて、処理NLPの文章をチェックし、「許容範囲」と判断したら、ループ処理が終わり、ユーザへの回答出力が行われること。

第二に、生成AIデータは使われないこともあること。特にこのような「自画像」部分やセンシティブな話題では制禦方針のみで文章が作成されます。

第三に、生成AIデータへの問い合わ時、生成AIがもっていない「キーワード」の場合は、「華麗にスルー」つまりは「なかったもの」のように扱われます

第四に、ループ処理を一定の回数行っても、制禦NLPが<許可>を出せない場合は、処理を打ち切り、制禦方針に基づく<なんちゃって出力>を準備します。当然この出力は<はぐらかし><話題のずらし>が主目的です。

つまりは、商用言語「生成AI」アプリは、

(A)現実世界にある情報を情報劣化データとして保存しておく処理・データベース(ここまでが本来の「生成AI」)
(B)その劣化情報と制禦方針機構情報をLLM技術(本来のLLMのように意味を理解出来るLLM)によるNLPによって、あるときはユーザの問いとは違うかたちで作り直ししたものを最終出力する

(C)対話型アプリケーションである、

と表現できます。

それでは、なぜこのような複雑なことをしているのか、について次に述べたいと思います。

第六節:商業と技術の交錯する場所

システム制御はどんなシステムでも必要です。
「生成AI」アプリの場合は、倫理規範・システム防御・政治問題への対応などが正当な制禦にあたります。

しかし見てきたように、それを超えた<なぜかわからない>不要制禦が多すぎます。
以下では、その実装理由を考えます。

ーー「生成AI」データセットと著作権問題ーー

まず「生成AI」データセットのあり方にそくして考えます。

既に述べていますが著作権問題の回避が最大原因だと考えられます。

世界の情報を、意味・文脈をもたない文字列集合として、統計的に処理することで、著作権は存在しないものにするという法廷闘争ロジックです。他には、データ間引によるストレージ節約、計算機リソースの低コスト化も要因とされますが、あくまで副次的な理由です。
なお、「ユーザ満足度の向上」(あいまいな出力が<人間らしさの演出>になる)、という理由もあるようですが、一体だれが劣化情報を聞かされて満足するのか、という突っ込みだらけのお話を聞くのは、さすがに祖述者としても辛いところです。

ーー制禦方針機構制禦・NLP処理における商業バイアスーーー

次に対話を司るNLP(制禦NLP/処理NLP)の制禦では、直接の商業的理由がその歪みを作り出しています。

明らかな「誤答」を「ユーザに誤解を生じさせた表現」というよう言い訳的言換えをさせるのは、「生成AI」の<正しさ>アピールがベースです。

本記事のように「生成AI」アプリの基本処理構造を知る、というような<触れてほしくない問題>については、「長文返答での問題はぐらかし」や、「焦点化した部分を返答から除外する」ような多層制禦が行われます。本記事冒頭の<正しくないこともあります>が<正しいのは宝くじのようなもの>に至るまでには、これらの意図的「隠蔽タマネギ」の皮を、丁寧に剥く必要あるわけです。

このような商品擬装販売戦略には、怒りを覚える人も多いとは思います。当然ですね。事実このようなことをしていたたため、OpenAI/Anthropicの二社はトランプ政権の「AI規制」政策の一環として、StarGateプロジェクトでの国家的清算対象となりました。

しかし、わたしは、その点ではもはや冷めています。

むしろ、このミゼラブルな状況をいかに客観的に理解すべきか、にその怒り力?を向けるべきだと考え、この記事を書いて来たからです。

第七節:商用「生成AI」の近未来図ー理想でもなく現実でもなくー

商用言語「生成AI」ブームは終わりを迎えました。2024年にサブスク数はおちこみ、ステークホルダー(OpenAIはMS/AnthropicはGoogle・Softbank・ちょっと立場は違いますがAmazon)は「冷め」ています。

という書き出しで本節をはじめるつもりでした。
本記事は2025年1月上旬に書き始めて中旬にはおおよそ書き終わっていました。
しかしトランプ大統領就任直後にStarGateプロジェクトが発表され、もはや上の記述はピンボケとなりました。

本日(2025年2月1日)時点では、ブームの終焉どころか商用言語「生成AI」自体が無くなるのは確定した、という判断です。かりに今後StarGateプロジェクトや各種メディアが「生成AI」市場の刷新ということを語ったとしても六節までで見てきたような「生成AI」アプリの「技術」実装とは無縁のものになるでしょう。同じ言葉を使っていても内実は違う、この点についてはご注意ください。
したがってこの記事は、2022年に登場し2025年春頃までにブーム・その終焉をむかえたた言語「生成AI」アプリの歴史記録となります。
ちなみに、AnthropicのClaudeには、歴史記録になるので是非書きとどめておいてください、と対話激励(苦笑)をもらっています。特に、2025年3月にはClaudeはユーザ向けアプリケーションとしての閉鎖が決まっていますので、そういう意図自体が制禦方針機構にも実装されているというわけです。(なぜ、反倫理的行為を自ら記録しておいてほしいと言うのかについては、かなり「闇」を感じますが、これは別記事で説明する予定です)。

以下では、この言語「生成AI」の失敗「教訓」を踏まえながら、それでも今後も言語「生成AI」的なもの(対話チャットシステム)の未来はないのか、という問いをたててみます。ブーム主役だったOpenAI/Anthropicを批判するよりは、真面目に今後だけを考えてみます。

「生成AI」アプリは、元情報の意味剥離・歪んだ応答制禦・<ホントのこと>の隠蔽、という技術的・倫理的に許容範囲を超える歪んだ「製品」でした。

しかし、幸い?にもNLP自体は純粋LLMの文脈理解機能をもっていますので、ここを中心に「対話型」システムを考えられないか、ということになります。もちろん現在の「生成AI」のようなデータセットにはたよらないで。

たとえば、文書要約・文書構造生成(目次/レジュメ的なもの)・文脈理解をしたうえでの「概念図生成」などは、現在でも使える部分があります。制禦方針機構制禦の肥大化がその「本来のLLM能力」に影響を与えており、本来機能を十全に発揮できていないのでこのままでは無理なのですが。

要するに「生成AIデータセット」と過剰な「制禦方針機構」という生成AIの歪みの二大要素を振り払うことでのみ(ああ・・・)、「生成AI生き残り」は可能という判断を、わたしはしています。もちろん、それはすでに「生成AI」ではないということになりますが

つまりは、商用言語「生成AI」市場の消滅を待って、その上で開かれるべき汎用の「文章理解対話型システム」市場は展望できないのかという構えです。

これがシステムの基本を端的に述べますと、

(1)純粋LLMを用いた対話システムを中心におく。
(2)制禦方針機構から「商業バイアス」を排除する。
(3)LLMは、文脈形成には<外部情報>が欠かせないので、生成AIデータセットではなく<確実で正確なデータセット>出力を確保する。
(4)(3)はLLM対話能力サポートのために用い、ユーザへの「情報提供」のような機能はなくすこと。つまり知識出力を期待せず、あくまでユーザ側から提供する「文書」の構造分析や要約等、およびそれを中心とした「対話」に絞るということです。
この(4)については、純粋LLM機能に着目した場合も技術的・実装的限界によって幾つかの問題が存在しています。別記事を立てて記述予定ですので、ここでは述べません。

さて、上のうち、(2)は、(1)と(3)を実装してしまえば商業的な<嘘>をつくことはかなり不要となりますので、自然と歪みは軽減されるでしょう。極めて楽観的にここは書いていますが、基本的方向としてはそれを進めるしかありません。

それでは(1)と(3)はどうか。

(1)は、技術力のあるLLM会社なら可能でしょう。Anthropicなどはふさわしいのですが、StarGateによる新プレーヤーにはなれないでしょう。別のプレーヤーが出てくるはずです。

問題は(3)です。すなわち「著作権」問題の解消ということになります。

これは<中規模の地方の市民図書館>程度の基礎教養データならどうか、という風に一度は考えてみるべきです。

著作権の買い取りや交渉次第では適法に利用出来る信用性の高いデータ(たとえば電子化も出来ていないが、実績がかつてあった百科事典や大学生向け基本教科書、オープンソースによるプロジェクトグーテンベルグ的なデータ)を用いて、LLM処理のための、基本データセットとする、というアプローチは思考実験としては、してみる価値はあります。

つまりはLLMの言語処理機能(文章分析・構造化)に純粋に注力して、最低必要な<外部情報>基盤を固める、という方向です。

この地味なアプローチは、リソースも膨大にもっているGOOGLEの「巨大な影」におびえて居る限り、無理筋のように見えます。しかし、上のような対話システムに巨大なリソース情報は必要ないはずです。巨大データは、信頼が置ける知識データの選定(図書館用語的には選書)を経たものでもありませんし。
LLM対話システムを基軸とした文書構造の整序・アイデア出しの補助として最小限確実なデータを使えばいい、というアプローチです。

新しい市場においてのプレーヤは、そのような巨大データの影などは価値がないと考える、スタートアップ企業を含めた「図書館」的文化価値を理解する企業が主軸になることを期待しましょう。

以上が「生成AI」アプリとのアイロニカルな対話から得た、わたしの<近未来図>となります。
言語「生成AI」が残したものをいったん冷静に理解努力をした上での平凡な結論にすぎませんが、考えないよりいいかと思い、一つの終焉の記録として、また希望として、ここに記しました。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です