效能表现:芯片的规格,这是基本;
微处理器的指令集架构:对于软件与软件的集成程度与特别运算至关重要; 实际影响,例如,较低位分辨率的处理对于AI很有用,它可以提高效率,而不会显着降低准确性;另外,边缘计算的特别需求,例如:支援网络连接与异构计算的负载平衡;
是否有基准 (Benchmark) 的 AI 效能数据:例如 MLPerf,如果没有则需自己实验比较;
AI 用例适配:如前述,根据应用需求而异,主要分为训练、推理、与实时持续学习 (RealTime Learning) 的情形;
软件堆栈的成熟度:它必须提供对多种开发语言的支持。传统上,芯片嵌入式应用程序支持 C / C ++,但 AI 应用程序需要支持的主要是 Python,将来 Julia 的地位会提高; 需有系列开发工具,供程序员编写代码,建模,模拟,测试,对目标芯片上应用程序作调试; 另外,该芯片与生态系统与工具集集成的程度 -- 对 AI 流行框架/库的支持,例如:TensorFlow,MXNet 等 -- 这意味着应用开发人员无需学习新知识; 能支持异构计算方法 -- 应用程序可以在多个微处理器运行,以利用不同优势,有开发环境无缝支持这些不同类型的处理器;
功耗 (Power) 要求:除了边缘 AI 的应用需要极低能耗,数据中心的训练芯片能耗也是重要成本因子;
记忆体效率:数据储存单元与计算单元之间的传输效率已成 AI 计算的瓶颈,许多新的架构提出,以求降低这个传输时间,例如:Processor-in-Memory (PIM);
芯片连接:片上连接决定数据流动速度,称为片上网络(NoC)的新型Bus 受关注。片外通信在系统级别发挥作用,是 AI 芯片组的关键规格标准。DDR5 或 HBM 是流行的存储器接口。与 CPU 沟通经常使用 PCI Express。OpenCAPI 则是 CPU 和加速器芯片之间的沟通。
算法变更周期速度:硬连线的算法部分越多,做改变要花费的时间就越长。改版需要不仅来自纠错,也可能来自市场与环境变化,所以算法需更新。所以这是一个重要因子。
芯片安全:安全已成为芯片使用中考虑因素中越来越重要的一部分。芯片需要至少与安全链的其他部分一样强大。这可能涉及将安全凭证嵌入硬件。