ひとことで言うと

RLHF

人がAIの回答を比べたり評価したりした結果を使い、人に好まれる答え方をAIに学ばせる方法。

内蔵用語集の説明