运用注意力机制的 Transformer 模型近几年在 NLP 领域获得了广泛应用。然而，由于参数量和计算量巨大，Transformer 模型难以在存储和算力有限的边缘硬件设备上高效部署。为了解决 Transformer 的低效问题，来自 MIT 的研究人员提出了 HAT: Hardware-Aware Transformers，针对不同的硬件设备的特性，为每个硬件搜索出一个高效的 Transformer 模型，从而在保持精确度的前提下大幅降低内存消耗。在同样的精度下，相比于基线 Transformer， HAT 可以获得 3 倍加速，3.7 倍模型压缩。