安思比克通过让用户投票选择其价值观，构建了一个民主的人工智能聊天机器人

安思比克通过允许用户投票选择其价值观，构建了一个民主的人工智能聊天机器人的系统

在可能是首次的研究中，人工智能（AI）公司Anthropic开发了一种经过用户社区细调价值判断的大型语言模型（LLM）。

What does it mean for AI development to be more democratic? To find out, we partnered with @collect_intel to use @usepolis to curate an AI constitution based on the opinions of ~1000 Americans. Then we trained a model against it using Constitutional AI. pic.twitter.com/ZKaXw5K9sU

— Anthropic (@AnthropicAI) October 17, 2023

• 华尔街迷因赌场：去中心化赌博与Telegram游戏相结合的新时代
• 欧洲的数据机构对数字欧元的隐私标准表示担忧
• 团队内部真的是饥饿游戏？揭秘Polkadot裁员内幕大爆炸

许多面向公众的LLM在开发过程中设置了防护栏，即编码指令来规定特定行为，以限制不必要的输出。例如，Anthropic的Claude和OpenAI的ChatGPT通常会针对与暴力或有争议的主题相关的输出请求给用户提供固定的安全响应。

然而，正如无数评论者所指出的，防护栏和其他干预技术可能会剥夺用户的主动性。被认为可以接受的事物并不总是有用的，而被认为有用的事物并不总是可以接受的。而道德或价值判断的定义可能因文化、人口群体和时间段而异。

相关文章： 英国计划在11月的峰会上针对潜在的AI威胁

解决这个问题的一个可能方法是允许用户为AI模型确定价值对齐。Anthropic的“集体宪法AI”实验就是尝试解决这个“复杂的挑战”。

Anthropic与Polis和集体智能项目合作，吸引了1000名来自不同人口统计的用户，并要求他们通过投票回答一系列问题。

这个挑战的核心是允许用户在不暴露于不合适输出的情况下确定何为适当。这涉及征求用户的价值观，然后将这些想法实施到已经进行过训练的模型中。

Anthropic使用一种称为“宪法AI”的方法来指导其在安全性和适用性方面调整LLM的工作。本质上，这意味着给模型提供一系列规则，并训练它在整个过程中实施这些规则，就像宪法在许多国家的治理中作为核心文件。

在集体宪法AI实验中，Anthropic试图将基于群体反馈融入模型的宪法。根据Anthropic的一篇博文所说，结果似乎在科学上是成功的，因为它揭示了实现让LLM产品的用户们确定他们的集体价值的目标进一步面临的挑战。

团队不得不克服的困难之一是找到了一个创新的基准测试方法。由于这个实验似乎是其类别的首次，并且依赖于Anthropic的宪法AI方法，因此还没有一个既定的测试方法可以将基本模型与那些调整了众包价值的模型进行比较。

最终，似乎实施了用户调查反馈数据的模型在有偏见输出方面略胜一筹。

根据博文内容：

“我们对过程比我们的结果更感兴趣。我们相信这可能是公众成员首次以集体的方式有意识地指导大型语言模型的行为。我们希望世界各地的社区能够借鉴这样的技术，来训练符合他们需求的文化和特定上下文的模型。”

We will continue to update 算娘; if you have any questions or suggestions, please contact us!