Azure OpenAI 推理能力令人惊叹，企业免费申请通道|azure|openai|台风|模态|通道

Azure Open AI 服务上线了 GPT-4o 模型，微软的官方文档对这个模型的介绍是：“GPT-4o 在单个模型中集成文本和图像，从而能够同时处理多个数据类型。这种多模式方法提高了人机交互的准确性和响应能力。”

也就意味着 GPT-4o 已经可以对图片进行理解。

企业如何合规、稳定使用ChatGPT以及Copilot？

出于合规角度，建议国内企业可以选择微软的Azure OpenAI服务来使用接口。

通过微软官方合作伙伴获取服务，企业用户可以合规、稳定地使用ChatGPT，满足国内发票需求，同时也能解决连接不稳定/响应速度慢/并发配额低等问题。

作为微软的合作伙伴，全云在线可为企业开通绿色申请通道！包括最新版本GPT-4o、Dalle-3等，只要企业有需求，全云在线都能协助快速开通！

参考链接：https://azure openai.cloudallonline.com/?zxwwy204
企业微软 Azure OpenAI 试用申请

我使用 Azure Open AI 服务做了一个阅读理解文档的应用，当 GPT-4o 模型可用，就快速进行设计将这个多模态能力加入我的应用。

作为一个具有多模态能力的应用，我肯定是想验证下多模态的能力，所以我一直在找寻找一张合适的图片，如果简单的找一张花花草草，我认为不够体现 GPT-4o 模型能力；如果是一张收银小票，识别下采购商品，我觉得这些 OCR 也可用实现，也体现不了 GPT-4o 模型能力，我需要的图片要足够复杂：数据多，图形复杂。

在上海，每年夏天都会和不同的台风进行不同姿势的接触，所以我找到一张台风图，打算试一试多模态的能力。原图如下：

这是中央气象台7月发布的今年第三号台风“格美”路径图。这张图非常符合我的要求：数据多，数据复杂，图像复杂，具有专业意义。

GPT-4o 的测试结果

我把这张图片上传给我的应用，通过 GPT-4o 模型能力获得了以下输出：

为方便大家阅读输出结果，我将 GPT-4o 模型的输出转载在下面：

该图为基于 ECMWF 集合预报（Ensemble Cluster）的台风 GAEMI 可能路径概率图。主要显示了台风在不同经纬度范围内（大约100-110公里）的中心经过概率。

颜色表示概率大小，具体情况如下：

绿色：10-25%的概率
黄色：25-50%的概率
橙色：50-75%的概率
红色：≥75%的概率

该图详细展示了台风可能影响的路径，从图中可以看出，台风的中心路径经过台湾东部沿海地区，然后向华南包括福建省、广东省一带移动。

图中还包含了不同行程的集群路径（以灰色线代表），和确定性路径（黑色线代表）及控制路径（紫色线代表）。

此外，底部还列出了不同地点因台风影响的概率，如厦门、泉州和福州等地的影响概率，多数超过50%，而台风路径的中部和南部地区如台北、彰化等地由于靠近海岸则有更高的影响概率达到88%。

右侧不同颜色及标签显示了不同模拟结果对应的气压，表示台风在不同路径上的强度变化。

GPT-4o 模型对图片的强大理解能力让我目瞪口呆：

它从这张图片局部地图和信息推理出了地理位置：从图中可以看出，台风的中心路径经过台湾东部沿海地区，然后向华南包括福建省、广东省一带移动
也能对图片的布局正确的理解：右侧不同颜色及标签、底部还列出了不同地点
还能识别出图片中的颜色：绿色、黄色、橙色、红色，右侧不同颜色及标签

这些推理信息让我对 GPT-4o 的识图能力叹为观止。

gpt-35-turbo-16k 的测试结果

了解到了 GPT-4o 的能力，我有点好奇如果没有多模态，Azure Open AI 服务会怎么解读这张图片。所以我把应用的模型切换为 Azure Open AI gpt-35-turbo-16k 服务，结果如下：

为方便大家阅读输出结果，我将 gpt-35-turbo-16k 模型的输出转载在下面：

根据给定的参考资料，这张图片是基于 ECMWF 集合模型预测的[GAEMI]台风的路径概率图。图中展示了台风路径与不同地点的相对关系，以及概率等级。这个台风根据不同时间的预测结果显示了多个路径可能性。

在图片中，红色线代表台风的路径，而概率等级用不同的颜色区分。比如，绿色表示10-25%的路径概率，黄色表示25-50%的概率等级，橙色表示50-75%，红色表示大于75%的概率等级。

图中的城市标注了概率等级。比如，宜兰概率最高，为88%，而其他城市如台北、莆田、泉州、花運和福州的概率依次递减。成功和宁德的概率较低。

总的来说，这张图片提供了台风路径和各地的概率等级信息，以帮助人们评估台风可能经过的地点和路径。

认真阅读 gpt-35-turbo-16k 模型的输出后，你是不是和我一样感到迷惑，在这份输出中 gpt-35-turbo-16k 似乎也能理解这张图（虽然不完全对）：

红色线代表台风的路径，而概率等级用不同的颜色区分。比如，绿色表示10-25%的路径概率，黄色表示25-50%的概率等级，橙色表示50-75%，红色表示大于75%的概率等级
图中展示了台风路径与不同地点的相对关系，以及概率等级

这些信息让我百思不得其解，难道 gpt-35-turbo-16k 模型其实也是具有多模态识图的能力，但它的多模态能力还不够强大，所以微软没有正式公布 gpt-35-turbo-16k 为多模态模型？

分析

我随后分析整个对话日志：

模型

System

User

GPT-4o

https://app.*****.com/media/1722929912_微信图片_20240806153805.jpg

你是一位专业的文档内容分析师。你具备快速阅读和理解文档的能力，能够识别并提取文档中的关键信息。能快速阅读、信息提取、关键点识别、摘要撰写。以下是我的问题：请用中文回答。理解图片的内容，并有逻辑精确的描述图片的含义

gpt-35-turbo-16k

参考资料: M01 974 hPa M02 974 hPa M03 956 hPa M04 960 hPa M05 970 hPa M06 970 hPa M07 963 hPa M08 969 hPa M09 958 hPa M10 970 hPa M11 964 hPa M12 964 hPa M13 952 hPa M14 975 hPa M15 952 hPa M16 963 hPa M17 951 hPa M18 961 hPa M19 967 hPa M20 957 hPa M21 975 hPa M22 965 hPa M23 975 hPa 0 M24 963 hPa M25 963 hPa M26 969 hPa M27 972 hPa M28 968 hPa M29 960 hPa M30 959 hPa M31972 hPa M32 957 hPa M33 965 hPa M34 959 hPa M35 959 hPa M36 947 hPa M37 968 hPa M38 963 hPa M39 960 hPa M40 957 hPa M41 969 hPa M42 970 hPa M43 967 hPa M44 960 hPa M45 955 hPa M46 975 hPa M47 976 hPa M48 964 hPa M49 970 hPa M50 961hPa DET 966 hPa CTRL 966 hPa Strike Probabilities* of [GAEMI] Based on ECMWF Ensemble Init Time: 2024/07/22 18Z *probability that the center of the tropical cyclone will pass within 1 lat/lon (approx. 100~110km) of a location Ensemble Cluster - Deterministic Ensemble Control 7 10~25% 25-50% 50~75% >75% 30°N 20°N 100 0 110ºF 120ºE 宜蘭 88% 台北 88% 莆田 86% 泉州 76% 花運 64% 福州 58% EI 56% 成功 34% 宁德 32% 0 :selected: :unselected: :selected: :unselected: :unselected: :unselected: :unselected:

我们发现 GPT-4o 模型的确是接受了一张图片，而 gpt-35-turbo-16k 是接受了一组字符串，这一组神奇的字符串就是通过 OCR 读取图片上的字符，难道 gpt-35-turbo-16k 是通过这些神奇的字符做出了颜色，位置等信息的判断？

我对这组字符阅读后发现，字符在有一段关键信息“Strike Probabilities* of [GAEM] Based on ECMWF Ensemble”，难道 gpt-35-turbo-16k 是基于这段信息做了推理？

当我准备使用搜索引擎进行探秘的时候，我突然想到，不如我们直接让 gpt-35-turbo-16k 作为我的探秘助手吧。以下就是是我和 gpt-35-turbo-16k 的探秘对话过程：

先了解什么是 ECMWF。

提问

gpt-35-turbo-16k 回答

ECMWF 是什么？我在一张台风图表上见到这个字符

ECMWF 代表欧洲中期天气预报中心（European Centre for Medium-Range Weather Forecasts）。它是一个国际性组织，致力于提供高质量的天气和气候预报服务。ECMWF 使用先进的数值预报模型和超级计算机技术来生成中期（3-15天）和长期（16-46天）的天气预报。在台风图表中，ECMWF 可能是指该组织提供的有关台风路径和强度预测的数据。

那么右侧的那些数据是什么呢？

提问

gpt-35-turbo-16k 回答

我在一张 ECMWF 绘制的台风图上看到有一组数据，这些数据以 M01开头到 M50（比如M01 974hPa， M08 969 hPa，M09 958 hPa ），最后还有 DET 和 CTRL 两组数据。请你详细告诉我这些数据的含义和解读

在 ECMWF 绘制的台风图上，以 M01开头到M50的数据表示台风在不同时间点的气压值。以 M01 974hPa 为例，M 表示“Model”，而01表示第一个时间点，974hPa 表示该时间点对应的气压值为974百帕。这些数据所代表的含义是台风在不同时间点的气压值。气压值是气象学中表示大气压强的重要指标之一，通常使用百帕（hPa）为单位。较低的气压值通常意味着台风中心附近的大气上升运动较强，暗示着台风的强度较高。 DET 和 CTRL 这两组数据是针对台风的不同模拟实验结果。DET 表示“Detention”，表示模拟实验中对某些特定因素进行了调整或限制，目的是观察这些因素对台风路径和强度的影响。CTRL 表示“Control”，表示模拟实验中的默认设置或基准情况，用于与 DET 进行对比分析。解读这些数据时，可以通过观察气压值的变化趋势来分析台风的发展情况。如果气压值逐渐降低，说明台风可能会变得更强，并可能对周围地区产生影响。DET 和 CTRL 数据的对比可以帮助研究人员了解不同因素对台风的影响程度，从而提供更准确的预测和警报。

原来右侧的值是气压观察值，但是图表上这些值的不同颜色是否有可能是一种行业的惯例呢？

提问

gpt-35-turbo-16k 回答