前段时间,养过“龙虾”的你可能对Token并不陌生。词元作为科技圈流行的新词,到底是啥?词元调用量增加意味着什么?台山科普今日带您一文解读。
在AI的世界里,Token(词元)是模型处理信息的最小计量单位,无论是用户的提问,还是AI生成的一段代码,最终都要被拆解成词元来完成运算。Token“词元”不仅是智能时代的价值锚点,更是连接技术供给与商业需求的“结算单位”,为商业模式的落地提供了可量化的可能。
通常,1个汉字约等于1个Token,1个英文单词约等于1到2个Token,1个标点符号也对应1个Token。当AI处理文本时,它并不像人类一样直接理解完整的句子,而是首先将输入的内容拆解为一个个Token,这一过程称为“Token化”。
AI每一步思考、推理、执行任务,都要消耗Token,任务越复杂,消耗的Token就越多。绝大多数商业大模型都按输入、输出的Token总数量收费,也就是提问输入的内容越多、AI回答输出的内容越长,消耗的Token就越多,用户需要支付的费用也就越多。我国自有大模型的Token单价在全球具有优势,大概是海外一些大模型Token单价的1/6。
正因如此,词元调用量成为衡量AI模型活跃度和产业价值的关键指标,词元调用量越高,意味模型被用得越多,创造的实际价值也就越大。
据国家数据局统计,2024年初,中国日均词元(Token)调用量为1000亿;至2025年底,跃升至100万亿;今年3月,已突破140万亿,两年增长超千倍。
我国日均Token(词元)调用量的大量增加,充分表明我国的人工智能发展进入快速增长阶段,应用场景在不断深化,从能对话到能决策执行的智能体,中国人工智能产业的竞争力显著增强,也标志着数据集的供给在大量增加,数据要素的价值在不断释放,数据要素赋能人工智能创新发展进入了良性互动的阶段。
反映的是AI大模型在真实场景中的渗透深度、应用的频率和广度。Token调用量的爆发式增长意味着越来越多人工智能应用落地,越来越多个人用户、企业客户在使用智能工具解决问题、提高效率。Token调用量是衡量人工智能产业景气度的重要晴雨表,Token已成为智能经济规模与活力的核心指标。
来源:整理自新华社、央广网、中国发展观察、中国计算机学会