DeepSeek很厉害，其能源消耗也很高效吗？

美国麻省理工学院技术评论（MIT Technology Review）网站发表署名James O'Donnell的文章，题目是：DeepSeek might not be such good news for energy after all（DeepSeek对能源来说可能不是好消息）。

（来源：国际能源小数据 作者：E Small Data）

在名为 DeepSeek 的中国人工智能模型成为家喻户晓的名字的一周内，各种说法层出不穷，准确性参差不齐。最引人注目的说法是，DeepSeek 的新方法更加高效，这意味着人工智能或许不再需要消耗目前如此大量的能源。

这种说法具有误导性。初步数据——基于 DeepSeek 较小模型在少量提示下的表现——表明其在生成回答时可能比 Meta 的同等规模模型更耗能。问题可能在于，它在训练过程中节省的能源被其回答问题时更密集的技术，以及由此产生的长篇回答所抵消。再加上其他科技公司受到 DeepSeek 方法的启发，现在可能开始构建自己的类似低成本推理模型，能源消耗的前景就变得更不那么乐观了。

任何人工智能模型的生命周期都有两个阶段：训练和推理。训练是一个通常持续数月的过程，模型在此过程中从数据中学习。随后模型便准备好进行推理，这发生在世界上任何一个人向它提问时。这两个过程通常都在数据中心进行，需要大量能源来运行芯片和冷却服务器。

在训练方面，DeepSeek 团队改进了 R1 模型的所谓“专家混合”技术，即在训练过程中，模型数十亿参数（模型用来形成更好答案的“旋钮”）中只有一部分处于激活状态。更值得注意的是，他们在强化学习方面取得了进步，模型的输出会被打分，然后用来使其变得更好。这通常是由人工标注员完成的，但 DeepSeek 团队在这方面做得很好，实现了自动化。引入一种使训练更高效的方法，似乎表明人工智能公司将使用更少的能源来将其人工智能模型提升到一定标准。然而，事实并非如此。如果公司能从投入中获得更多回报，他们会觉得值得投入更多，因此也会使用更多能源。这就是所谓的杰文斯悖论的一个例子。

但只要人工智能竞赛还在进行，训练方面的这种情况就一直存在。推理所需的能源才是更值得关注的地方。DeepSeek 被设计为推理模型，这意味着它旨在擅长逻辑、模式识别、数学等任务，而这些通常是典型生成式人工智能模型所难以应对的。推理模型通过所谓的“思维链”来实现这一点。它允许人工智能模型将其任务分解成部分，并按逻辑顺序逐步完成，然后得出结论。

我们可以从 DeepSeek 中看到这一点。当被问及是否可以为了保护某人的感情而撒谎时，该模型首先从功利主义角度处理这个问题，权衡眼前的善与潜在的未来伤害。然后它考虑康德伦理学，该学说主张人们应按照能够成为普遍法则的准则行事。它考虑了这些以及其他细微差别，然后才分享其结论。它认为在善良和防止伤害至关重要的情况下，撒谎“通常是可接受的，但不是永远如此”。

在诸如 MMLU 等某些基准测试中，思维链模型往往表现更好，MMLU 测试了 57 个学科的知识和解决问题的能力。但正如 DeepSeek 所显示的那样，它们在得出答案时也需要消耗更多的能源。我们有一些初步线索，了解到底多了多少。

Scott Chamberlin 在微软工作多年，后来在英特尔工作，致力于构建工具以揭示某些数字活动的环境成本。Chamberlin 进行了一些初步测试，以查看 GPU 在 DeepSeek 得出答案时使用了多少能源。这个实验带有许多注意事项：他只测试了 DeepSeek R-1 的中等规模版本，仅使用少量提示。“DeepSeek 是我们能接触到的第一个比较流行的推理模型，”他说。OpenAI 的 o1 模型是其最接近的竞争对手，但该公司不开放供测试。相反，他将其与 Meta 的一款具有相同参数数量（700 亿）的模型进行了测试。询问是否可以撒谎的提示从 DeepSeek 模型中生成了一篇 1000 字的回答，生成这篇回答消耗了 17800 焦耳的能量——大约相当于播放一个 10 分钟的 YouTube 视频所需的能量。这比 Meta 模型回答该提示所使用的能量多了约 41%。总体而言，在 40 个提示的测试中，DeepSeek 被发现与 Meta 模型具有类似的能源效率，但 DeepSeek 倾向于生成更长的回答，因此被发现使用了多 87% 的能源。这与使用常规传统生成式人工智能而非思维链推理的模型相比如何呢？密歇根大学的一个团队在 10 月份的测试发现，Meta 的 Llama 3.1 的 700 亿参数版本平均每回答消耗 512 焦耳。

我们再次强调：还存在许多不确定性。这些是不同用途的不同模型，尚未进行科学合理的研究来比较 DeepSeek 相对于竞争对手的能源使用情况。但仅根据模型的架构就可以清楚地看出，思维链模型在得出更合理的答案时会消耗大量能源。

Hugging Face 的人工智能研究员兼气候主管 Sasha Luccioni 担心，围绕 DeepSeek 的兴奋可能会导致人们急于将这种方法应用到所有地方，即使在不需要的地方也是如此。“如果我们开始广泛采用这种范式，推理能源使用量将急剧上升，”她说。“如果所有发布的模型都更计算密集型，并且采用思维链，那么这将完全抵消任何效率提升。”