广告

OpenAI发现将推理成本减半的新方法

发布日期:2026-06-30 22:21 阅读:
金牌财经排行榜报道,据一位知晓相关讨论的知情人士透露,有一则此前从未对外披露的消息:本月早些时候,OpenAI 工程师向部分同事表示,依托几项全新研发的优化技术,他们找到了一套方案,能将模型推理成本削减一半以上。工程师将这套新技术应用于无免费 / 付费账号访客使用 ChatGPT 的场景后,一度把所需英伟达图形处理器(GPU)数量压至仅数百块 —— 这一数字低得令人震惊。目前外界尚不清楚 OpenAI 实现此番算力效率大幅提升的具体技术手段,业内常用优化方案大致包括:量化压缩、键值缓存、批量处理用户查询而非逐条单独运算,以及将部分请求分流至功耗更低的轻量化模型或模型分片进行应答。

发表我的意见

9110

文章

0

提问

766万+

阅读量

0

回答

63万+

被赞

0

余额

关于我们 联系我们 加入我们 免责声明 广告服务 Sitemap 标签Tag 侵权文章删除:13607219@qq.com 微信:wenlian123com Investor Relations © 2025 金牌网 中值联认证中心(北京)有限公司版权所有 ICP备案:京ICP备20020888号 增值电信经营许可证:京B2-20201851