什么是NPU芯片？

NPU到底是什么？它的作用是什么？我们真的需要它吗？对于许多人来说，了解计算机、平板电脑或手机中的处理器和显卡就足够了。即使是我们这些测试此类设备的人到目前为止也没有过多关注 NPU 芯片。但时代在变。 NPU 正在或将变得与处理器（CPU）和显卡（GPU）一样重要。

什么是NPU？

NPU（即神经处理单元）是大型片上系统 (SoC) 中的专用处理器或处理单元，专门用于加速神经网络和人工智能任务的性能。与通用CPU和GPU不同，NPU针对数据驱动的并行计算进行了优化，因此它们在处理视频和图像等大规模多媒体数据以及处理神经网络数据方面非常高效。他们特别擅长与人工智能相关的任务，例如语音识别、视频通话中的背景模糊，以及照片或视频编辑程序（例如对象检测、擦除、添加元素等）。

NPU 是集成电路，但它们与单功能 ASIC（专用集成电路）有很大不同。虽然 ASIC 是为单一目的而设计的，例如挖掘特定的加密货币，但 NPU 芯片提供了更高的复杂性和灵活性，可以满足网络计算的多样化要求。他们通过针对神经网络计算的独特要求量身定制的软件或硬件专门编程来实现这一目标。

在大多数消费产品中，NPU 实际上会集成到主处理器中，如英特尔酷睿和酷睿 Ultra 系列或新的 AMD Ryzen 8040 笔记本电脑处理器。但是，在更大的数据中心或更专业的工业操作中，NPU 可能会集成到主处理器中。主板上完全独立的处理器，与所有其他处理单元分开。在手机上，NPU 芯片通常集成在片上系统上，我们还可以在其中找到处理器和图形核心。

每个制造商对 NPU 芯片的命名都略有不同。苹果称之为神经引擎，高通选择了Hexagon，谷歌选择了张量处理单元（TPU），而华为则选择了达芬奇架构。有趣的是，华为是最早将 NPU 集成到 Mate 10 智能手机中的公司之一。

为什么手机和电脑都需要 NPU？

当三星今年早些时候推出 Galaxy AI 概念时，这可能是人们第一次谈论 NPU 芯片。为什么？如果您设法测试他们的人工智能功能，您可能会注意到有些功能在本地工作，有些需要连接到远程服务器。如果我们希望功能在本地运行，即直接在我们的设备上运行，我们需要 NPU，特别是如果我们希望任务完美运行的话。

当今的大部分人工智能处理都是在云端完成的，但由于多种原因，这并不理想。首先是延迟和网络要求。离线时您可能无法访问这些工具，或者在流量高峰期间您可能需要等待较长的处理时间。通过互联网发送数据的安全性也较低，这在使用可以访问您的个人数据的人工智能（例如微软现在臭名昭著的 Recall）时是一个非常重要的因素。

Kjer je to le mogoče, je lokalno delovanje boljše. Vendar funkcije umetne inteligence niso mačji kašelj, potrebujejo kar nekaj moči. Če ste eden izmed redkih, ki ste si na začetku AI norije na svojem računalniku namestili Stable Diffusion, potemvveste, kakšno strojno opremo potrebuješ za razmeroma solidne rezultate. Nihče noče čakati predolgo, in čeprav bi procesor in grafična kartica lahko marsikaj postorila sama, to odslej enostavno ne bo dovolj.

解决方案是 NPU 芯片，它可以显着加快此类任务的速度。它们的性能通常以每秒数万亿次操作 (TOPS) 为单位，但这并不是一个非常有用的指标，因为它不能准确告诉您每个操作正在做什么。相反，通常最好寻找能够说明大型语言模型的标记需要多快处理、它使用多少功率、它有多准确、它可以读取或写入多少数据等等的数据。

NPU 和 GPU。有什么区别？

尽管许多人工智能和机器学习工作负载在 GPU 上运行，但 GPU 和 NPU 之间存在重要区别。

尽管 GPU 以其并行计算能力而闻名，但并非所有 GPU 都能够处理除图形之外的大量其他任务，因为它们需要特殊的集成电路来有效处理机器学习工作负载。最流行的 Nvidia GPU 以 Tensor 核心的形式拥有这些电路，但 AMD 和英特尔也将它们内置到自己的 GPU 中，主要用于处理高档运算，这是最常见的人工智能任务之一。

有了NPU芯片，我们可以简单地将这些电路从GPU中分离出来，让其全力执行其主要任务，并将分离的电路集成到一个独立的专用单元中。这使得人工智能相关任务能够以更低的功耗更有效地处理，这也是它们成为笔记本电脑和手机中不可或缺的组件的原因。对于那些最苛刻的任务，他们仍然至少需要图形处理器的帮助。

NPU 和 CPU。一个做什么，另一个做什么？

NPU 与中央处理单元 (CPU) 的不同之处在于其设计的工作负载。计算机或手机中的典型处理器具有非常通用的任务，并且它很适合它，因为它支持广泛的命令、不同的缓存方式和调用功能。

正如我们之前所说，机器学习和人工智能任务是不同的，不需要那么多的灵活性。它们不仅要求更高，而且经常以不寻常的格式运行，例如 16 位、8 位或 4 位数字。尽管处理器可以执行基本的机器学习任务，但这不是它们的主要任务，而且它们的速度要慢得多。

NPU 会吗？ 将来 所需组件？

几乎可以肯定，除非你对人工智能吹口哨。

例如，如果要使用Microsoft Copilot Plus，则需要容量至少为40 TOPS的NPU芯片。例如，您将能够使用本地 AI 功能 Recall、Cocreator 和 Live Captions。

至少目前，需要 NPU 芯片作为其使用条款一部分的应用程序并不多。随着开发人员寻求集成更多本机功能（例如 Adobe、DaVinci Resolve，或者可能是 Teams 和 Zoom），这种情况可能会发生变化。

对于电话来说，还需要注意这个组件。凭借高端手机，您可以确保获得最好的 NPU 芯片以及制造商提供的所有 AI 功能。在下层阶级，例如 500 欧元及以下，这不会被认为是理所当然的。如果你想玩人工智能，你很可能需要考虑 1000 欧元的范围。

然而，目前您并不急于购买新电脑或手机。我们才刚刚开始，至少现在，您还没有错过太多。