民主人工智能聊天机器人原则 - Anthropic 的方法

　　科学技术

　　民主人工智能聊天机器人原则 – Anthropic 的方法

　　24分钟前

　　比特币以太币新闻

　　在对人工智能能力的突破性探索中，人工智能（AI）公司Anthropic定制了大型语言模型（LLM）来反映用户定义的价值观。 这项独特的研究收集了 1,000 名参与者的意见，根据他们的集体判断微调法学硕士的反应。

　　与配备预定义护栏来限制某些输出的传统法学硕士不同，Anthropic 的方法包含用户代理。 Anthropic 的 Claude 和 OpenAI 的 ChatGPT 等模型通常会遵守预设的安全响应，尤其是在敏感主题方面。 然而，批评者认为，这种干预措施可能会损害用户的自主权，因为可接受性的定义各不相同，并且在不同文化和时间段中都是主观的。

　　应对这一复杂挑战的一个潜在解决方案是让用户能够塑造人工智能模型的价值一致性。 Anthropic 与 Polis 和集体智能项目合作开展了“集体宪法人工智能”实验。 他们吸引了 1,000 名来自不同背景的用户，通过民意调查提出了一系列问题，以收集有价值的见解。

　　该实验的重点是授予用户确定适当性的权力，而不会让他们接触到不需要的输出。 此过程涉及引出用户价值并将其合并到预先训练的模型中。 Anthropic 采用了一种被称为“宪法人工智能”的技术，为该模型提供了一套要遵循的规则，类似于指导国家治理的宪法。

　　在集体宪法人工智能实验中，Anthropic 旨在将用户群体的反馈整合到模型的宪法中。 根据 Anthropic 的博客文章，结果表明科学上的成功，揭示了与让用户共同定义法学硕士产品的价值相关的挑战。

　　该团队面临的一个显着障碍是开发一种新颖的基准测试流程。 鉴于该实验的开创性以及对 Anthropic 宪法人工智能方法的依赖，目前还没有既定的测试来将基本模型与使用众包值进行微调的模型进行比较。

　　最后，似乎包含来自用户投票反馈的数据的模型在减轻偏差输出方面比基本模型表现出了“轻微”的改进。 Anthropic 不仅对由此产生的模型表示兴奋，更重要的是对开创性过程本身感到兴奋。 这个实验标志着公众作为一个集体有意影响大型语言模型的行为的最初实例之一。 希望全球社区能够利用这些技术来开发符合其特定文化和背景需求的模型。