- # why - # what - [[LLM 大语言模型]]在训练完成后部署到服务器中供客户使用的阶段叫做推理阶段。 - 需要认识到的一件事是，即使是在推理阶段，ChatGPT每生成一个新的标记，都必须进行一次包括所有这些权重在内的计算。对于每个产生的标记，仍然需要进行1750亿次（1.8 万亿、18 万亿）的计算（并在最后进行一些额外的计算）—因此，不难理解使用ChatGPT生成一段长文本需要一些时间。 - # how -  -  - # how good - # Ref.