OpenAI又失去“王炸”的能力联网，搜索！这就是在网上搜索的最新版本，它是专门针对“王炸族”而设计的。ChatGPT“封印”解除

从OpenAI发布的网络浏览器，代码解释器，到第三方工具等

OpenAI表示,“插件是专门为语言模型设计的工具，以安全为核心原则，并帮助ChatGPT访问最新的信息，运行计算，或使用第三方服务。”

具体地说，它引入了WolframAlpha,OpenTable等插件、Slack等第三方工具，及正式发布网络浏览器插件及代码解释器。

在这些基础上，一般用户还可以在ChatGPT界面中产生代码，并对其进行操作、上传下载csv数据至图像中的文档，以及对输出结果进行评价。

除此之外,OpenAI 还开放了知识库检索插件的代码(https://github.com/openai/chatgpt-retrieval-plugin). 除此之外,OpenAI 还开放了知识库检索插件的代码(https://github.com/openai/chatgpt-retrieval-plugin).

2、在网络浏览器中

ChatGPT爆火出圈，在于几乎是“无所不能”的：编代码，写规划，出小说、做客服...但是，作为根据历史数据建立语言模型的,ChatGPT有一个历来为人所非议的话题：它的训练数据在2021年9月份之前，对更新后的信息数据，它不能精确地解答。

而今天，这道”封印“终于解除了——OpenAI推出了网络浏览器插件，即ChatGPT可以联网了！

“受到过去工作的启发（包括我们自己的WebGPT,以及GopherCite、BlenderBot2、LaMDA2和其他），现在我们允许语言模型从互联网上读取信息，严格扩大了其讨论内容范围，超越了训练语料库，可获得当天的最新信息。”

OpenAI演示了通过网络浏览器插件ChatGPT已经能够检索到本年度最新奥斯卡资料的实例:

据OpenAI报道，网络浏览器调用New Bing搜索API,在网络上对内容进行检索，所以传承了微软很多安全工作：（1）信息来源可靠，真实；（2）阻止对存在问题的内容进行检索的”安全模式“。网络浏览器可以显示所访问的站点并且在对ChatGPT进行答复时援引这些站点的出处。

另外,OpenAI还明确地指出，这个插件只限于检索信息，不包括表单提交等”事务性“操作。它还将在独立服务器中运行，因此ChatGPT的浏览活动与其基础设施是区分开来的。

3、代码解释器(Code Interpreter) 代码解释器(Code Interpreter)

「可以使用Python处理上传和下载的一个实验性的ChatGPT模型」,我在OpenAI上介绍了我自己家最近发布的代码解释器。

简单地说,OpenAI给出的在沙盒、防火墙的执行环境提供了工作Python解释器，和部分临时磁盘空间。它通过对工作进程和其他程序的访问来管理这些资源。代码解释器插件所操作的代码被评估为持久会话，会话是聊天对话过程中一种有效的（即有上线，会超时），随后的呼叫可基于对方。另外，该插件还能够通过使用文件系统来实现对工作状态和数据访问方式等信息的管理。该职能目前支持向目前对话工作区上传文件，工作结果还可以下载。

代码解释器除产生代码外（CI）支持其他特性:

求解数学问题包括定量与定性

开展数据分析与可视化

实现了各种格式间的文件转换

此外,OpenAI还说它正邀请用户试用代码解释器以找到其他有用的特性。

对此，外国使用者Andrew Mayne试图找到，代码解释器也能对输出进行分析，并将其用于另外的函数。这个功能是用来处理从多个源程序提取出来的相同或类似信息。这就意味着，您可以将代码的不同组成部分串联在一起，将一段输出转换为另外一段输入。

他使CI采用了产生迷宫的算法，把迷宫变成块，利用一种算法搜索出口，让它成为一个吃豆人的模样，然后生成一个GIF。

在过去，开发者在用ChatGPT生成代码的时候，这将涉及将输出的结果置于另外的环境中进行检测。这种做法虽然简单但很耗时。目前，您可以进行ChatGPT内部的大量开发工作，并且无需脱离用户界面。通过这样一种方式，开发者能快速地从其他系统中调用所需代码进行开发工作。可以说是大大提升开发者编程效率。

通过Andrew Mayne对代码解释器进行的几次实测，不妨一起来看看代码解释器到底有多厉害:

利用OpenCV搜索人脸

使用OpenCV和一个简单的人脸搜索算法（Haar Cascade Classifier）,CI能够创建一个函数，发现照片上的人脸:

行星的轨道

使用Matplotlib库，能使ChatGPT模拟出内行星在轨道上的运动，保存成gif照片。

建立机器学习模型

尽管ChatGPT不能在CI中加载任何机器学习库（目前），但是我们可以用n-grams来生成一些统计文本。如果你需要一种新方法来产生文本，那么你会发现，有许多机器学习库是不支持这种方法的。在本例中,Andrew Mayne给了它一本书名，请其建立预测算法，接着对文本序列进行下一词语预测。如果该作者是个中文人的话，那么他就会将他的书翻译成英文并把他的名字添加到文本序列里去。这样的结果不会让GPT-4担心动的太快，不过还挺有意思的。

绘图方面

让ChatGPT画猫并制造出与猫相似的作品。

画猫，戴蓝高帽，口含烟斗。

4、检索时

OpenAI开源了一个ChatGPT检索插件（https://github.com/openai/chatgpt-retrieval-plugin），该检索插件使ChatGPT能够搜索矢量数据库中的内容，例如从（Milvus、Pinecone、Qdrant、Redis、Weaviate或者Zilliz）中搜索索引，并且在ChatGPT会话的基础上加入最佳结果，当然，先决条件是，这些数据库的内容已得到个人和机构的授权。

这使得开发者能够将其授权的应用加入检索插件，以及以自然语言的方式提出问题或表示需要，从它的数据源（例如论文，注释，电子邮件或者公共文档等）中得到最相关的文档片段。

第三方插件等

针对第三方插件,OpenAI说，经由候选列表开发人员可以自己构造ChatGPT插件，文中还提供了有关的程序:

1、建立一个你希望语言模型调用的端点API（可以是新API、现有API或专门为LLM设计的现有API的包装器）。

2、建立OpenAPI规范来记录API，和一个链收到OpenAPI规范清单文件，其中包含某些插件具体元数据。

当对话从chat.openai.com启动，用户可以选择自己想要启用第三方插件。在该网站中使用的是一种通用语言模型和一个专用于特定应用场景的语言模型。有关插件启用的文件将在语言模型中以对话内容形式呈现，使得该模型能够按照所需调用插件API进行功能实现。

目前,ChatGPT 已官宣了第一批第三方插件,主要由 Expedia,FiscalNote,Instacart,KAYAK,Klarna,Milo,OpenTable,Shopify,Slack,Speak,Wolfram 和 Zapier 创建.

其中，计算知识引擎Wolfram|Alpha兴奋地说:”虽然还处于初级阶段，但是，这已给人留下了很深的印象——大家都能开始看到，我们所说的‘ChatGPT+Wolfram’有多了不起，有多厉害（甚至具有革命性意义）。“而计算思维在未来将会对人类社会产生巨大影响。在这个世界上，任何一个人都无法离开计算和计算机而孤立存在。因此，我们有必要重新审视自己。计算将改变我们的生活方式。”

比如上月询问土耳其ChatGPT牲畜数量，它只捏造一个合理却又不正确的数据。因为该平台上只有一个简单易用的界面，用户只需要输入想要查看的信息就可以得到准确的结果。而且现在调用Wolfram插件之后,ChatGPT可以给出一个“很好且权威”的答案，并且能够直观的显示出来:

马上可以使用了？

建立在免费的插件与第三方服务之上，再不必为ChatGPT的胡说八道而烦恼。

OpenAI还就此在安全和风险维度上强调了这一点，通过集成清晰地获取外部数据—如在线最新数据、以代码为基础进行计算或者自定义插件进行检索，通过以证据为参照，可增强其答案质量，从而构建信息多语模型。

这些参考资料既能增加模型的用处，并且能够让用户对模型输出进行可信度评估，并对其准确性进行了重复检验，这就有可能降低过度依赖相关风险。

然后对开发者和用户层面来说，何时可以使用？

其实自ChatGPT、Bard、新Bing、自从文心一言这样的大型模型工具和产品推出之后，估计不少用户最怕的简单词是“waitlist”,不出所料，这一次也毫不例外（https://openai.com/blog/chatgpt-plugins）。

OpenAI表示，目前只有一小部分用户（优先考虑少数几个开发者以及ChatGPT Plus的使用者）能够开始使用插件功能，它打算在获得进一步的资料之后，逐步推出更大规模的访问（针对插件开发者、ChatGPT用户，以及在alpha期之后，希望将插件整合到他们产品中的API用户）。