実は、このような、ユーザーが望まない応答を検知する方法は多く開発されています。
代表的なものは、アウトプットを、別のLLMが監視するというものです。
このような方法は、モデルの中身で何が起こっているのかを知らずに行っているので、black-boxアプローチと呼ばれています。
一方で、先ほどの嘘発見器のような、内部の計算にアクセスして、パターンを特定するような方法をwhite-boxアプローチと呼びます。
以上のように、安心してLLMを使うためには、モデルの振る舞いを理解することが重要です。そのための技術はAI Safetyという分野で日々研究・開発されています。