分享每一天-最近很火的OpenAI，chatGPT Ai智能对话,更像与真人聊天

最近很火的OpenAI，chatGPT Ai智能对话,更像与真人聊天

最新科讯 6081 0 创建时间：2022-12-05 11:07:27

OpenAI

#### OpenAI发布新一代语言模型ChatGPT，更像与真人聊天
![](https://www.seedblog.cn/uploads/article/2022-12-08/I3juLFM1kMnEjKECxHvHvVJEAqWVWKH5oiwlhxl2.jpg)
![](https://www.seedblog.cn/uploads/article/2022-12-08/f18KAPpsyPuT9NRKVOEJYqzZc6wSMfhT7jTo9Az9.jpg)
OpenAI 上周免费公开了新的聊天机器人「ChatGPT」。
ChatGPT 基于 OpenAI 的 GPT-3.5 技术模型，可以为用户的查询提供对话式回答、解释代码甚至寻找代码漏洞。

和其它聊天机器人相比，ChatGPT 采用了更注重道德的训练方式，比如会承认自己的错误、能够拒绝被识别为「不怀好意」的提问和请求等。

不过，OpenAI 也承认了 ChatGPT 存在不少局限性，比如「固执己见」「废话太多」等。OpenAI 举办了一个反馈竞赛，任何有价值的反馈都有机会赢取 OpenAI API 积分（价值 500 美元）。

#### 方法

ChatGPT 使用与 InstructGPT 相同的方法——用人类反馈强化学习 (RLHF) 训练模型，但数据收集设置略有不同。ChatGPT 使用监督微调训练了一个初始模型：人类 AI 训练员提供对话，他们在对话中扮演双方——用户和 AI 助手，AI 训练员可以访问模型编写的对话回复，以帮助 AI 调整回复内容。

为了创建强化学习的奖励模型，该研究需要收集比较数据，其中包含两个或多个按质量排序的模型回复。该研究收集了 AI 训练员与聊天机器人的对话，并随机选择一条模型编写的消息，抽取几个备选回复，让 AI 训练员对这些回复进行排名。此外，该研究还使用近端策略优化算法（PPO）微调模型，并对整个过程进行了几次迭代。

ChatGPT 对 GPT-3.5 系列中的某个模型进行了微调，该模型于 2022 年初完成训练。ChatGPT 和 GPT 3.5 在 Azure AI 超级计算基础设施上进行了训练。

#### 局限性

ChatGPT 有时会写出看似合理但不正确或荒谬的答案。解决这个问题非常具有挑战性，因为：

RL 训练期间需要现实世界的数据，但目前没有来源；

模型被训练得过于谨慎导致它拒绝回答可以正确回答的问题；(3) 监督训练会影响模型的性能，因为理想情况是模型知道正确答案是什么，而不是人类演示者知道是什么。

ChatGPT 对调整输入措辞或多次尝试相同的 prompt 很敏感。例如，给定一个问题，模型可以声称不知道答案，但只要对问题稍作改写，模型就就可以正确回答。

模型的回答通常过于冗长并过度使用某些短语，例如重申它是 OpenAI 训练的语言模型。这些问题源于训练数据（训练者喜欢看起来更全面的长答案）和过度优化。

理想情况下，当用户提供模棱两可的查询时，模型会提出质疑，然而 ChatGPT 目前是自行猜测用户的意图。

虽然该研究已努力使模型拒绝不当请求，但它有时会回复有害指令或给出有偏见的回答。研究团队正在使用 Moderation API 来警告模型或阻止某些类型的不安全内容，并试图收集用户反馈来进一步改进该系统的工作。

相比于 GPT-3 和 Codex，ChatGPT 作为 OpenAI 最新发布的模型，已经在安全性和可用性方面做出了诸多改进，汲取了先前模型的经验教训，并通过使用人类反馈强化学习 (RLHF) 大幅减少了模型的有害和不真实输出。

参考链接：
openai.com/blog/chatgpt/

#### 试用地址：chat.openai.com
官网： openai.com
ChatGPT：chat.openai.com

#### 以上的又区域限制，来试试这个
https://gpt.chatapi.art/

最近很火的OpenAI，chatGPT Ai智能对话,更像与真人聊天

商品推荐

广告推荐

推荐文章