<返回更多

ChatGPT 每月用的电已经够一个小城镇生活

2023-04-07    晚点LatePost
加入收藏

GPT-4 惊艳亮相并激发各类生成式 AI 极快迭代的同时,ChatGPT 自身也遇到了不少阻力。马斯克跟科学家们关于暂停大型 AI 实验的公开信已经征集到近 1.3 万人签字,英国、意大利等国也相继发布了限制政策。

不过反对的声音没能压住用户需求,后者已经先让 OpenAI 有些扛不住了。继上周大面积封号后,OpenAI 昨天又主动暂停了 ChatGPT Plus 会员的售卖(截至今天上午已经恢复)。官方称暂停升级的原因是需求量过大。

根据流量监测网站 Similarweb 最新统计数据,今年 3 月 ChatGPT 吸引了全球近 16 亿次用户访问,较 2 月增长近六成,是 1 月时访问量(5.9 亿次)的近 3 倍。访问量激增同时带来算力需求和能耗成倍数增长。

假设每个用户平均每次访问提 5 个问题(微软 New Bing 平均提问轮数约为 3 次,而 ChatGPT 不限制回合数),则 ChatGPT 上个月总咨询次数接近 80 亿次,对应日咨询量约为 2.7 亿次。

这还没算上其他应用通过 API 访问 ChatGPT 所产生的消耗。但已经极其消耗资源。

已知 1 张 A100 GPU 推理 1 个单词大约需要 0.35 秒。假设每个提问长度约 30 个字 / 单词,则 ChatGPT 每天需要处理 80 亿字咨询量,用一张 A100 GPU 来跑需要约 78 万小时,对应每天需要约 3.24 万张 A100 GPU。以上只是平均数值,考虑到访问流量存在峰值,OpenAI 如果想完全响应用户请求,需要储备的 GPU 数量还要高出好几倍。

紧张的不光是算力。

前述 3.24 万张 A100 GPU 大约等同于 4000 台英伟达 DGX A100 服务器(搭载 8 张 A100 GPU),后者售价 19.9 万美元 / 台,最大功率为 6.5 kW。

以此推算 ChatGPT 硬件成本至少为 8 亿美元,其 3 月耗电量约为 1872 万 kWh。每处理一次用户请求的耗电量,相当于 60 瓦的灯泡亮 140 秒。这样一来,项目光是电费就得交近 200 万美元。

2021 年中国居民人均生活用电约 68 kWh/ 月,ChatGPT 单月耗电量差不多跟 27.5 万中国人相当。(邱豪)

声明:本站部分内容来自互联网,如有版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
▍相关推荐
更多资讯 >>>