你被人工智能聊天机器人威胁了吗？在过去的一周里，似乎每个新闻媒体都尝试过微软的 ChatGPT 版必应搜索，继而发现聊天机器人会编造许多愚蠢和毛骨悚然的东西。
在《纽约时报》的测试中，聊天机器人多次对一名科技专栏作家“示爱”；而在《华盛顿邮报》的测试中，它声称自己被一连串提问“冒犯了”。
作为回应，微软最近对必应施加了使用限制，每次会话最多给出 5 个回复，以减少它犯错的机会。
这不仅仅吓坏了记者，OpenAI 这家初创公司也受到了美国保守派的大量批评，他们声称其聊天机器人 ChatGPT 有一种“觉醒（文化）”的偏见。
所有这些愤怒最终都会产生影响。在必应生成的复杂内容背后，是由初创公司 OpenAI 开发的名为 ChatGPT 的人工智能技术。
上周五，OpenAI 发布了一篇博客文章，旨在澄清其聊天机器人有哪些合理的行为。它还发布了 ChatGPT 在被问到美国“文化战争”时应如何回应的指导方针。这些规定包括不与任何政党挂钩，或判定某一个群体的好坏。
（来源：STEPHANIE ARNETT/MITTR | NOUN PROJECT）
我与 OpenAI 的两名人工智能政策研究人员桑德希妮·阿加瓦尔（Sandhini Agarwal）和拉玛·艾哈迈德（Lama Ahmad）讨论了一下，我们谈到了该公司如何让 ChatGPT 变得更安全并展现出更冷静的一面。尽管该公司拒绝评论其与微软的关系，但研究人员仍有一些有趣的见解。以下是他们必须要说的话。
如何得到更好的答案
在人工智能语言模型研究中，最大的开放式问题之一是如何阻止模型“产生幻觉”，说的更接地气一点就是如何阻止模型“胡编乱造”。ChatGPT 已经被数百万人使用了好几个月，但我们没有看到必应搜索所产生的那类谎言和幻觉。
这是因为 OpenAI 在 ChatGPT 中使用了一种名为“从人类反馈中强化学习”的技术，会基于用户的反馈改进模型的答案。该技术的工作原理是让人们在不同的输出内容中进行选择，然后根据不同的标准进行排序，比如事实性和真实性。
一些专家认为，微软或许跳过或草草完成了这一阶段，然后推出了 ChatGPT 版必应搜索，尽管微软尚未证实或否认这一说法。
但据阿加瓦尔说，这种方法并不完美。她说，人们看到的选项可能都是错误的，然后选择了错误最小的选项。为了使 ChatGPT 更可靠，该公司一直专注于清理其数据集，并删除那些让该模型偏好于错误内容的训练数据。
“越狱”ChatGPT
自从 ChatGPT 发布以来，人们一直试图对它进行“越狱”，也就是用一些技巧或方法让模型打破束缚自己的规则，进而产生有关种族主义或阴谋论的内容。OpenAI 已经注意到了相关的尝试。阿加瓦尔说，OpenAI 已经浏览了其整个数据库，挑选了一些会导致不必要内容的提示，以改进模型并阻止它继续蔓延下去。
OpenAI 渴望倾听
OpenAI 表示，它将开始从公众那里收集更多反馈，以更好地塑造模型。艾哈迈德说，OpenAI 正在探索通过用户调查或建立公民集会（论坛）的方式，来讨论哪些内容应该被完全禁止。她说：“例如，如果以艺术为前提，裸体可能不会被认为是粗俗的、不可接受的东西，但如果在课堂上使用 ChatGPT 就是另外一回事了。”
共识项目
阿加瓦尔说，OpenAI 使用了来自数据标注人员的人工反馈，但已经认识到它雇佣来做这项工作的人并不能很好地代表更广泛、多元的世界。因此，该公司希望扩展这些模型所代表的观点和视角。
为此，它正在进行一个更具实验性的项目，名为“共识项目”。在这个项目中，OpenAI 的研究人员正在研究人们对于人工智能模型产生的不同事物的同意或不同意的程度。
阿加瓦尔说，相比“天空是否是蓝的”，人们可能会对“税收是否是好事”这类问题产生更多元的回答。
定制的聊天机器人即将到来
最终，OpenAI 相信，它或许能够训练人工智能模型来代表不同的视角和世界观。因此，人们或许可以用它来生成符合自己观点的答案，而不是一刀切的 ChatGPT 机器人。阿加瓦尔说：“这是我们所追求的目标之一，但这将是一个漫长而艰难的旅程，因为我们知道这个领域是多么有挑战性。”
现在我来说说我的看法。这是一个好迹象，表明 OpenAI 计划邀请公众来帮助确定 ChatGPT 红线可能所在的位置：对于一款世界各地数百万人在不同文化和政治背景下使用的工具，哪些事情是可以接受的。
这件事，我们不能也不应该只交给旧金山的一群工程师来做。我个人很想知道他们愿意在多大程度上进行有关政治议题的定制。同时，OpenAI 迟早会意识到内容审核的世界是多么的复杂和混乱。
支持：Ren
原文：
https://www.technologyreview.com/2023/02/21/1068893/how-openai-is-trying-to-make-chatgpt-safer-and-less-biased/
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。