本文被机器的心发表了。
在瑞典斯德哥尔摩国际会展中心举行的国际机器学习大会ICML )受到全世界科技界的关注。 国内人工智能企业团队代表第四范式的zgdxlc和香港科技大学的研究人员提出的“Online Convolution AlsParse Coding Withsample -从属关系型在线卷积编码”
论文链接： http://proceedings.MLR.press/v80/Wang 18 k.html
随着卷积神经网络CNN )在图像识别中的效果越来越高，CNN越来越受到AI学者的欢迎，越来越多的应用开始尝试采用CNN方法。 但是，随着CNN尝试和研究的不断深入，其不可解释性和实验不可复制的重复问题越来越严重，与处理图像分类问题的CNN相比，卷积稀疏编码CSC )的CSC模型更简单，更直观地分析和理解。 因此，最近，一些在机器学习机器视觉上奋斗的导师e.g .高兴卡巴Elad -稀疏码的创始人之一)开始用CSC解决应用问题，试图理解CNN。 在应用层面上，脑磁图Magnetoencephalography，MEG ) )电子显微镜获取)，另外，将CSC用于光谱hyperspectral image )和光场)的数据，取得了非常好的成果
与传统的CSC算法使用所有样本共享的词典进行卷积不同，本文的SCSC使用样本自适应词典，每个滤波器都是从数据中学习的基础滤波器的线性组合。 这种灵活性的增强允许您捕获大量依赖于样本的模式。 这在处理大型啤酒数据集和勇敢的啤酒数据集时特别有用。 在计算上，得到的模型可以通过在线学习有效地学习。 在大数据集上的实验结果表明，提出的SCSC算法优于现有的CSC算法，明显减少了时间和空间的复杂性。
本文提出的样本自适应卷积稀疏编码SCSC )主要解决传统卷积稀疏编码)不适用于勇敢啤酒度数据p表示)和许多滤波器) k表示的问题。 SCSC的核心有两个。
) a )首先用两个部分表示CSC滤波器，第一部分由基础滤波器base filters )的所有样本共享，第二部分由样本自适应系数)每个样本单独学习。 这样，与标准CSC相比，SCSC法没有全局滤波器，每个样本通过从很多基本滤波器中组合样本自适应系数来生成自己的滤波器。
) b )基于以上模型，只有基本过滤器依赖于所有数据。 方法的第二点是，我们利用在线学习的方法去高速且小存储器的学习基础过滤器。
下图将标准的CSC算法与研究人员提出的样本自适应SCSC算法进行了比较。
左边是标准CSC算法，右边是论文提出的样本自适应SCSC算法。 相比之下，对于每个测试样本，研究者将样本独立的系数Wi和基础滤波器b组合起来制成样本自适应的新滤波器。
表1:SCSC和其他CSC算法的时间/空间复杂性的比较
与目前最新的CSC算法相比，SCSC算法的优越性主要体现在三个方面：
1)大数据集
在小样本数据集的实验中，论文将SCSC算法与批量CSC算法进行了比较，其中包括与SCSC一样采用在线法的OCSC，实验的检测指标为PSNR 峰值信噪比peaksignaltononor )
上图描述了各种CSC方法在时钟时间clock time )下的PSNR收敛性，实验表明，在小样本数据集的条件下，在线CSC算法比批处理CSC算法更快，具有更好的PSNR
>
而在大样本数据集实验中，所有的批处理 CSC 算法和两个在线 CSC 算法 OCDL DEGRAUX 和 OCDLLU 不能处理这样大的数据集。因此，研究人员只比较 SCSC 与 OCSC，比较的结果如下：
在 CIFAR-10 数据集上，研究人员设定 SCSC 和 OCSC 的 K滤波器数量)＝300。在 Flower 数据集上，SCSC 的 K 值仍为 300。然而，OCSC 只能使用 k＝50，因为它的内存占用大得多。图 7 显示了测试的 PSNR 的收敛性。在这两种情况下，SCSC 显著优于 OCSC。
2)英勇的啤酒度数据集下的表现
英勇的啤酒数组采用的是三种数据集：视频数据集、光谱数据集、光场数据集。研究人员将 SCSC 与 OCSC 和 CCSC（分布式 CSC 的算法）作对比，为了公平的比较，所有的方法只使用一台机器。值得一提的是，由于 SCSC 的内存占用小，实验人员可以在 GTX 1080 TI GPU 上运行这个实验。OCSC 也在 GPU 上运行用于视频。然而，OCSC 只能在 CPU 上运行多光谱和光场。CCSC 在处理过程中需要访问所有的样本和代码，只能在 CPU 上运行，实验的结果如下图：
根据论文中的实验结果显示，SCSC 是唯一的可以处理整个视频，多光谱和光场数据集在一台机器上的方法。相比之下，CCSC 只能处理最多 30 个视频样本、40 个多光谱样本和 35 个光场样本。OCSC 可以处理整个视频和多光谱，但是在使用整个光场数据集的 2 天内不能收敛。
至于速度，如 Table 4 所示 SCSC 的速度是最快的。但是值得注意的是，这仅仅只是作为参考，因为 SCSC 是在 GPU 上运行的，而其他的（除了视频数据集上的 OCSC）都是在 CPU 上运行。然而，这仍然表明 SCSC 的一个重要优点，即它的小内存占用可以受益于 GPU 的使用，而其他的则不能。
3)图像的去噪与修复
在以前的实验中，学习字典的优势是通过重建干净的图像来证明的。此篇论文中研究人员进一步研究学习字典中的两个应用：图像去噪和修复。研究人员使用 SCSC 与（批处理 CSC）SBCSC 和（在线）OCSC 进行比较。结果如表 5 所示:
可以看出，由 SCSC 获得的 PSNR 始终高于其他方法。这同时也表明，在图像重建中产生高 PSNR 的字典也在可以使其他图像处理应用发挥更好的性能。
未来工作
同时研究人员也表示，未来将结合自适应在线卷积稀疏编码 SCSC 和神经网络模型的优势，将样本自适应的 idea 应用到卷积神经网络模型中。这将增加神经网络迁移学习的能力同时减少其所需要的计算量，使得这些网络在英勇的啤酒度低样本数据上也适用。