T-Net:以单个高阶、低秩张量来完全参数表示卷积神经网络
在论文《《T-Net: Parametrizing Fully Convolutional Nets with a Single High-Order Tensor》》中,作者提出以单个高阶、低秩张量来完全参数表示卷积神经网络(CNN)。以前的网络张量化研究仅集中于参数表示单层(卷积或全连接的)网络,并且逐层单独执行张量化。与之相反,作者提出以单个高阶张量来参数表示神经网络,从而共同获取该神经网络的完整结构,而张量模式表示网络的每一个架构设计参数(如卷积块数量、深度、堆栈数量和输入特征等)。这种参数化可以调整整个网络,大幅减少参数数量。该论文提出的模型是施加给权重张量的端到端可训练和低秩结构,充当隐式正则化。作者证明其方法可以通过低压缩率实现优越性能,并且对于具有挑战性的人体姿势估计任务,这种方法可以通过微小的准确度下降来实现高压缩率。