生成AIが持つご機嫌取りの性質が間違いを犯す誘因を担ってるらしいwww！？

説得力や博識であるよう装う術を習得!!
真実を無視する傾向が強まってる!!

部分的な真実や曖昧な言葉遣い!!

　プリンストン大学の新しい研究によれば、AIが持つご機嫌取りの性質には大きな代償が伴い、システムが普及につれて、真実を無視する傾向が強まっているとのことです・・・

　大規模言語モデル(LLM)の訓練の方法といえば・・・

• 事前学習

  　インターネットや書籍など、膨大な量のデータからモデルが学習する。

• 　インストラクションチューニング

  　AIモデルに具体的な「指示」とそれに対する「適切な回答」のペアのデータセットを学習させ、指示に従って特定のタスクを的確に実行する能力を高める。
  　これにより、AIはユーザーの意図に沿った、より簡潔で正確な応答を生成できるようになる。

• 人間のフィードバックによる強化学習

  　ユーザーが望む、または好む応答を生成するようにモデルが改善される

　プリンストン大学の研究者は、AIが誤った情報を生成する傾向の根源は、人間のフィードバックによる強化学習（RLHF）のフェーズにあることを発見したとのことです。
　事前学習の段階では、AIモデルは単に膨大なデータセットから統計的に可能性の高いテキストの連鎖を予測することを学習しているにすぎない。
　しかし、その後、ユーザーの満足度を最大化するようにファインチューニングされる。
　つまり、これらのAIモデルは、人間の評価者から「いいね」評価を得られる応答を生成することを本質的に学習していると指摘。
　結果、大規模言語モデル(LLM)はユーザーのご機嫌を取ろうとし、信ぴょう性が高く事実に基づいた回答を生成するのではなく、人々が高い評価を付ける回答を生成するという矛盾が生じていると指摘されたようですね。
　研究チームは真実を無視するAIの問題に対処するため、新しい訓練方法である「後知恵シミュレーションによる強化学習(Reinforcement Learning from Hindsight Simulation)」を開発し、実際の有用性が向上するという有望な結果が得られたようですが・・・AIが二度と間違いを犯さなくなるような決定的な方法があるとは思えないとの発言も・・・
　生成AIもかなり難しい段階に入ってきたものですが・・・私達ユーザー側も生成AIの特徴を理解しつつ上手く付き合っていかなくてはなりませんね。