亚马逊云科技宣布,OpenAI GPT-5.6模型现已在Amazon Bedrock上支持跨区域推理(Cross-Region Inference),覆盖超过25个AWS区域。这一功能通过推理配置文件(Inference Profiles)实现,允许请求从源区域路由到目标区域的计算资源,从而突破单一区域容量限制,提升吞吐量和负载下的性能稳定性。
此次发布涉及GPT-5.6家族的三个通用变体:Sol、Terra和Luna,三者针对能力与成本的不同平衡点进行了优化。所有变体均支持文本和图像输入、文本输出,拥有100万token的上下文窗口,并支持推理模式、服务端工具调用和提示词缓存。
跨区域推理的两种模式
跨区域推理主要通过两类推理配置文件实现。地理推理配置文件(如us.openai.gpt-5.6-terra)将推理处理限制在预定义地理区域内的AWS区域,请求只能在该地理边界内的目的地区域间路由,适合有数据驻留要求的负载。全球推理配置文件(如global.openai.gpt-5.6-terra)则可根据实时容量,将请求路由到模型已部署的任何支持商业AWS区域,提供更广泛的容量访问。
在调用方式上,开发者可以通过Amazon Bedrock控制台,或使用OpenAI Responses API、OpenAI Chat Completions API以及Amazon Bedrock Converse API进行调用。流式输出分别通过Responses和Chat Completions API的stream=True参数以及ConverseStream接口支持。
这一机制本质上是一种容量管理手段:通过让请求利用更广泛的计算资源池,而非局限于单一区域的可用容量,帮助用户在高负载下维持一致的性能表现。对于需要跨区域扩展且对数据边界有严格要求的工作负载,地理配置文件提供了兼顾扩展性与合规性的路径。
热门跟贴