【AsianScientist】ChatGPTを利用したチャットボットが増加...その信頼性に疑問も

対話型AI(人工知能)サービス「ChatGPT」を利用したチャットボットが増加しているが、その信頼性には依然として疑問が残る。「シンセティック(合成)メディア」(AIで生成・編集した画像・音声を使うメディア)を自社のビジネス モデルに組み込む企業が増えている中、AsianScientist誌はそのスキルセットの範囲を分析してみた。(2023年12月11日公開)

インド東部のオリッサ州で今年初めに開催された農業博覧会では、珍しいスタッフがヘルプデスクで勤務していた。そのスタッフとはソーシャルテクノロジーの新興企業である Samagra が開発したチャットボットである Ama KrushAI である。Ama KrushAIは牛の病気や害虫管理から政府の計画に至るさまざまなテーマについて、農業従事者の質問に答えていた。 このチャットボットのコアとなっていたのは、生成 AIを使う大規模言語モデル (LLM) であり、2022年11月にOpen AI社が発表した ChatGPT であった。

LLMは、非常に大量のデータから作り出された統計ルールに基づいてコンテンツを生成する。たとえばChatGPTのトレーニングには3,000 億語相当のテキストが使われた。この豊富な情報を使用し、今まで目にしたすべてのテキストの出現予想に基づいて、ChatGPTは次に来る単語や文を予測する。

ChatGPT はかつてない速度で普及し、リリースから 2カ月で1億人が使用した。世界各地の企業や社会的企業は、自社のチャットボットにChatGPT機能を搭載している。次にオンラインで航空券の予約をしたり購入したい衣類を探したりするときには、ChatGPTを利用した親切なチャットボットが手伝ってくれるかもしれない。

チャットボットは 1960 年代から存在していたが、企業と顧客の間のインターフェイスとして機能するウェブアプリやモバイル アプリの成長により、その普及が進んだのはつい最近のことである。チャットボットは通常、会話型AI に依存しているが、ChatGPT はさらに強力な武器を備えている。

人気の主な理由は、詩を書いたり、休暇の計画を提案したりできるチャットボット・スタイルのインターフェイスにある。ChatGPT は金融詐欺の発見など他にも多くのことをできるにもかかわらず、チャットボットでの使用が大きな推進力になっているのはこのためである。

会話をして売り上げを伸ばす

発展途上国の若者の大部分にとって、テクノロジー業界での経歴は出世にほぼ欠かせないものとなっている。多くの若者は(エンジニアリング教育を受けていない若者も含めて)、データ サイエンス、AI、アプリ開発のスキルを高めるために、仕事後に何時間もオンライン プラットフォームで学習する。ただし、これらのプラットフォームでは常にマンツーマンの指導を受けられるわけではなく、必要な頻度で受けられるわけでもない。

このギャップに対処するために、バンガロールに拠点を置く消費者向けエドテック 新興企業であるJovianは最近、ChatGPTを搭載したチャットボットである Jobot を立ち上げた。 Jobotは、いつでも対応可能な個人講師である。ChatGPTを使用して、たとえば学生がGoogleで調べていたさまざまなプログラミング言語の長所と短所に関する質問に即座に回答する。Googleその他の検索エンジンとは異なり、Jobotは学生と交わした会話の流れを保存し、それを利用して回答する。

Jovian の上級ソフトウェア エンジニアであるアシシ・カンカル (Ashish Kankal) 氏は Asian Scientist Magazine誌に対し「Google検索では、時間をかけて検索を絞り込む必要があり、以前にどのような質問をしたのかというコンテキストは表示されません。しかし、講師に質問する場合、講師はそれまでの流れに基づきあなたの質問に答えます。 ChatGPTも同じように機能します」と 語った。

その他、 一見すると必ずしもテクノロジーを多用しているようには見えない消費者向けブランドも、ChatGPTを利用したチャットボットを採用している。Instagramや Shopifyを通じて食品や手作りジュエリーを販売する小規模ブランドを考えていただきたい。Asian Scientist Magazine誌は、ムンバイを拠点とし、WhatsAppを利用して地元産の食材を販売する企業であるTillage に話を聞いた。Tillageは、WhatsAppのサードパーティ・コマースプラットフォームであるSayl.ai を使用して運営を管理しているが、最近、Sayl.ai は ChatGPT を統合してコンテンツ生成を自動化した。

Tillageの共同創設者であるシバル・シャー (Shival Shah) 氏は「当社の販売チャネルと販売時点管理はすべてWhatsApp 上にあります。WhatsAppから毎週メッセージを送信し、問い合わせや注文を受け付け、価格を計算し、支払いリンク、注文の更新情報、カートリマインダーを送信しています。以前はこれらの業務をすべて手作業で行っていましたが、 現在はSayl.ai が処理しています」と述べ、これにより、重要な問題の解決と特定の顧客の質問への対応に集中できるようになったと付け加えた。

Sayl.aiというチャットボットはWhatsApp経由での販売を可能にしたが、その他、香港を拠点とする新興企業であるChatalog.ai は、FacebookやInstagramなど複数のチャネルにわたる顧客を同時にターゲットにしている。Chatalog.aiは企業名から命名されたチャットボットであり、企業のファイルとウェブサイトから学習して背景情報を追加する。

高級ワインを販売するDFV社 は、Chatalog.ai ユーザーでもある。DFVは、このチャットボットを採用し、ソーシャルメディア経由の問い合わせに対して自動化され、かつ現実的な対応を行い、さまざまな地域の顧客と効果的なコミュニケーションを行っている。

ナンセンスとうそ

ChatGPTを試した多くの人は、それが意味のない、または誤った回答をする場合があることにすぐに気づいた。これを回避するために、熱心なユーザーは、どのような質問であっても最良の結果を得ることができるよう、質問で使う適切な語をいくつか見つけ出した。このスキルはプロンプト・エンジニアリングと呼ばれ、非常に人気があり、すでに何百もの学習コースやチュートリアルが存在する。今ではプロンプト・エンジニアリングそれ自体を仕事とすることさえもできる。

しかし、ChatGPT搭載チャットボットを初めて使うユーザーは、正しいプロンプトについて知ることはできない。当然のことながら、新規ユーザーは自分たちの日常会話の文体で質問する。ほとんどの場合、ChatGPT はそのような質問をうまく処理し、ある種の常識を持っているという印象さえ与えるかもしれない。しかし、うまく処理できず質問の内容と全くかけ離れた回答を作り上げる場合がある。大規模言語モデルの重大な欠点であるこの現象は幻覚と呼ばれる。ChatGPTは事実を理解せずに統計ルールに基づいてテキストを生成するため、一貫性はあるものの間違った情報を提供する可能性がある。間違った関連付けをする可能性は常にある。たとえば、ある俳優の生まれた年を尋ねても、代わりにデビュー映画の年を教えることがある。

香港科技大学の人工知能研究センター (CAiRE) の所長であるパスカル・ファン (Pascale Fung) 氏はAsian Scientist Magazine誌のインタビューで「生成モデルが創造的であればあるほど、幻覚が現れる傾向があります。幻覚は創造性の裏側であると考えてください。したがって、ChatGPT は創造を得意としていますが、事実に基づいていない場合は問題になります。 それは生成モデルにとって常に問題となるでしょう」と語った。

幻覚は重大な危害を引き起こす可能性を持つ。 たとえば、健康に関するチャットボットが誤った情報に基づいたアドバイスを提供する、あるいはチャットボットが人種差別や女性蔑視の固定観念を引きずっているなどである。ChatGPT が誤った情報を流す傾向があるのは、トレーニングデータにバイアスが存在していることと、真実を理解する力がないためである。ChatGPT は、差別的な質問への回答を拒否することで、この傾向をある程度回避するが、特にChatGPT を利用したチャットボットが強力なフィルターを備えていなければ、危険の可能性は依然として残る。

ChatGPT 搭載チャットボットの有用性を決めるのは、ChatGPTの推論能力である。最近、ファン氏たちは ChatGPT の推論能力を評価する研究を行った。

ファン氏たちは演繹的推論(トップダウン推論)と帰納的推論(ボトムアップ推論)における性能を分析した。演繹的推論とは一般的な前提から特定の結論を導き出すことである。一方、帰納的推論は特定の事例や出来事から一般化可能な結論を推論することである。

この研究から、ChatGPT は演繹的推論には優れているものの、ボトムアップで物事を推論することは苦手であることが分かった。これは、ChatGPT に得たいと思うものに関する詳細なプロンプトを提供すると、満足のいく回答が得られる可能性が高いことを意味する。しかし、テキストやデータの要約を依頼すると、期待したほどのことはできないかもしれない。

ファン氏は、ChatGPTは抽象的な概念の計算に苦労するため、数学的推論が苦手だと付け加えた。企業が教育や法的業務に役立てようとChatGPT搭載チャットボットを使用しても、少なくとも現時点では、ある程度までしか役に立たず、ユーザーがデータ分析で使おうとする場合には用をなさない。

ChatGPTとそれを利用するチャットボットに現在見られる制限は、低リソース言語に基づく技術の場合、さらに大きな問題となる。インドや東南アジアのほとんどの言語は低リソース言語に該当し、AI モデルをトレーニングするのに十分な注釈付きテキストが存在しない。

この困難を軽減するために、 農業従事者向けチャットボットである Ama KrushAI には、Bbashini と呼ばれる別のプロジェクトからの現地言語データ(農業従事者向け政府制度に関する情報など)が加えられている。インド電子情報技術省によって開始された Bbashini は、政府の取り組み、出版社、市民団体からインドのさまざまな言語のデータを収集し、注釈を付ける。

より良いチャットボットの作成

Jovianの社員もTillageの社員も、やるべき業務の概要を作成したり、電子メールや会議メモ用コピーを作成したりするなど、仕事の他の側面でもChatGPTを使用している。Jovianでは、従業員も学生も ChatGPT を使用している。彼らは、チームが仕事の中でも特に有意義な部分に集中できるようになり、生産性が向上したと報告した。これは、企業やブランドにとってChatGPTはをコラボレーターであり、社内での使用方法を表すものである。

企業が社外向けの業務に使用する場合、責任あるアプローチを取る必要がある。ChatGPT搭載チャットボットを作る、あるいは使用する企業は、ChatGPTを利用して構築されたソリューションが、顧客にとって倫理的かつ安全なものとしなければならない。企業はアプリがどのような危害を引き起こすのか把握し、OpenAI が ChatGPT に組み込んでいなかった有害アプリについて検出できるようにする必要がある。

技術政策の専門家は、ユーザーがChatGPTで生成されたコンテンツを扱うときを常に明確にすべきであると語る。AIの倫理研究者であるティムニット・ゲブルー (Timnit Gebru) 氏は最近、ツイッターに「シンセティック・メディアに遭遇するときは、それは常に明確である必要があるだけでなく、このようなメディアを作る団体は、トレーニングデータとモデルアーキテクチャを文書化して開示することも求められるべきです」と投稿した。

こうした懸念があるにもかかわらず、ChatGPTはすでに業界に衝撃を与えている。ビル・ゲイツ (Bill Gates) 氏は、昨年、ChatGPTがAP生物学の試験に合格したのを見て、最初のグラフィカル・ユーザー・インターフェイスのデモンストレーションを見たときと同じくらい革新的であると感じた。

ゲイツ氏は自身のブログの中で、ChatGPT などの言語モデルの可能性について「人々の働き方、学び方、旅行の仕方、医療の受け方、そしてお互いのコミュニケーションの方法を変え、業界全体がそれを中心に方向転換するでしょう」と書いている。

上へ戻る