
火山引擎边缘大模型网关是火山引擎推出的一款边缘计算网关产品。在2024年12月18日的火山引擎FORCE原动力大会上,火山引擎边缘云宣布推出该服务 。它支持通过单一API接口调用多家厂商的大模型与智能体,利用边缘节点实现就近访问与推理加速,并提供与OpenAI兼容的接口 。其主要功能包括标准接口、就近访问、推理加速和高鲁棒性 。2025年,火山引擎边缘云参与了中国信息通信研究院《边缘大模型网关技术要求》行业标准的制定工作,该网关随后依据该标准通过了评估 。
该网关已适配多种主流大模型及智能体 ,依托边缘节点,可实现较低的请求响应延迟。其弹性缓存(EIC)技术有助于降低推理延迟。产品接入了包括DeepSeek、豆包在内的多个大模型系列 ,并发布了支持自部署模型公网调用、端智能实例等功能 。针对AI玩偶场景,该网关提供API接入,集成WebSocket协议与调度系统;针对芯片场景,提供了端智能实例及OneSDK解决方案。
想要了解更多“火山引擎边缘大模型网关”的信息,请点击:火山引擎边缘大模型网关百科
