,皇冠体育app(www.hg9988.vip)是一个开放皇冠网址即时比分、皇冠网址代理最新登录线路、皇冠网址会员最新登录线路、皇冠网址代理APP下载、皇冠网址会员APP下载、皇冠网址线路APP下载、皇冠网址电脑版下载、皇冠网址手机版下载的皇冠体育app官方下载平台。
拿投资和赚钱之前,要先去了解下成本。
来源:OneFlow
原文地址: https://sunyan.substack.com/p/the-economics-of-large-language-models
作者: Sunyan
翻译:杨婷、徐佳渝、贾川
原标题:ChatGPT 背后的经济账
ChatGPT 能否取代 Google、百度这样的传统搜索引擎?为什么中国不能很快做出 ChatGPT?当前,对这些问题的探讨大多囿于大型语言模型(LLM)的技术可行性,忽略或者非常粗糙地估计了实现这些目标背后的经济成本,从而造成对 LLM 的开发和应用偏离实际的误判。
本文作者从经济学切入,详细推导了类 ChatGPT 模型搜索的成本、训练 GPT-3 以及绘制 LLM 成本轨迹的通用框架,为探讨 LLM 成本结构和其未来发展提供了可贵的参考视角。
重点概览:
LLM 驱动的搜索已经在经济上可行: 粗略估计,在现有搜索成本结构的基础上,高性能 LLM 驱动搜索的成本约占当下预估广告收入/查询的 15%。 但经济可行并不意味着经济合理: LLM 驱动搜索的单位经济性是有利可图的,但对于拥有超 1000 亿美元搜索收入的现有搜索引擎来说,添加此功能可能意味着超 100 亿美元的额外成本。 其他新兴的 LLM 驱动业务利润很高: 比如 Jasper.ai 使用 LLM 生成文案,很可能有 SaaS 服务那样的毛利率(超 75%)。 对于大公司而言,训练 LLM(即使是从头开始)的成本并不高: 如今,在公有云中训练 GPT-3 仅需花费约 140 万美元,即使是像 PaLM 这样最先进的模型也只需花费约 1120 万美元。 LLM 的成本可能会显著下降: 自 GPT-3 发布的两年半时间里,与 GPT-3 性能相当的模型的训练和推理成本下降了约 80%。 数据是 LLM 性能的新瓶颈: 与增加高质量训练数据集的大小相比,增加模型参数的数量能获得的边际收益越来越小。01
动机
LLM 的惊人表现引发了人们的广泛猜想,这些猜想主要包括 LLM 可能引发的新兴商业模式和对现有模式的影响。
搜索是一个有趣的机会,2021 年,仅谷歌就从搜索相关的广告中获得了超 1000 亿美元的收入 [1]。ChatGPT(一个使用 LLM 的聊天机器人,它可以生成高质量的答案,以回答类似于搜索的查询)的「病毒性」传播已经引发了许多关于搜索领域潜在影响的思考,其中一个就是 LLM 如今的经济可行性: