Multispectral imaging for medical and industrial machine vision systems

用于医疗和工业机器视觉系统的多光谱成像

这是最近读的一篇文章，写下来有所收获

现如今成像技术已经远远超越了传统颜色，标准RGB不足以完成检测任务。一些应用需要非传统的RGB波长，而另一些则需要可见和非可见波长的组合。另一些只需要非可见波长，如（UV）紫外、（NIR）近红外或（SWIR）短波红外，这些波长在可见光谱中没有波段。
波长可以用滤光片或对特定波长(包括可见光以外频率的光，如红外线)敏感的仪器来分离。光谱成像还可以提取人眼无法捕捉的额外信息。本次的文章介绍了关于多光谱成像解决方案，以及如何利用各种相机功能来满足应用需求。

Chapter 1.什么是多光谱成像

“多光谱成像”，字面意思是用一个以上的光谱波段进行成像。根据这个定义，即使是RGB相机也可以归入多光谱成像的范畴。科学文献中的定义：多光谱成像可以由光谱波段组成，这些波段彼此分开定位。它们不必是连续的。高光谱的图像是在高波段波段彼此连续的。

5个不同波段的多光谱相机响应示例

4个不同波段的多光谱相机响应示例

12个不同波段的多光谱相机响应示例

多光谱成像在确定的光谱范围内的选定位置使用目标波长的子集，高光谱成像技术使用连续和连续的波长范围(例如，以1 nm为步长，400-1100 nm)。这一特征是高光谱成像和多光谱成像最明显的区别。

高光谱与多光谱成像区别

Chapter 2.多光谱成像应用

多光谱成像增强了在农业、医疗和其他工业应用中使用机器视觉摄像机的检测能力。
1.农业方面
（1）评价土壤生产力和分析植物健康状况的一种非常有效的工具。用肉眼观察土壤和作物的健康是非常有限的，是反动的。多光谱传感器技术可以让农民看得比肉眼更远。
（2）除了估算作物产量外，多光谱成像还可以帮助农民查看受损作物，并对作物生长管理作出必要的修改。利用多光谱成像技术对杂草、病害和害虫进行识别越来越受到人们的欢迎，因为早期检测有助于优化植物生长的方法和资源。
（3）多光谱成像还可以帮助计数植物和确定农场人口密度。它不仅有助于提供土壤肥力的数据，而且在与作物生产有关的土地管理方面具有巨大的潜力。
（4）除了与植物生长相关的帮助外，多光谱成像结合深度学习和人工智能也可以帮助控制和测量作物灌溉和监测牲畜。
（5）果蔬产品的检测，多光谱成像可以提供可见光和非可见光波段的组合，以测量和分析外部特征(如颜色、质地、表面损伤、形状和大小)和内在特征(如干物质含量、成熟度、水分含量、糖和脂肪含量)。
2.医学
（1）肉类和鱼类的检查中，多光谱成像有助于分析切割、脂肪和骨骼含量，检查皮肤表面的损伤和肉类的颜色。多光谱成像可以增加巨大的价值在医疗应用，特别是在外科任务。将彩色图像与近红外波段相结合可以帮助定位和区分肿瘤和周围组织。多光谱设置可以通过许多方式实现，但使用基于棱镜的多传感器摄像机是一种非常有效和经济的方式，也降低了系统的复杂性。
（2）对于内窥镜，外科成像应用，两或三幅不同波段的图像可以同时捕获。这些图像将被“融合”，这样来自非可见近红外通道的元素将覆盖在可见的RGB图像上，为外科医生提供他或她正在操作的组织或血管的“增强”视图。

总之在需要应用到分离光谱的领域，都需要应用到多光谱成像技术

Chapter 3.多光谱相机技术

早先的多光谱成像技术大多应用于航空航天领域。随着时间的推移，基于傅里叶变换光谱、液晶可调谐滤波器、宽窄带滤波器等不同类型的多光谱系统得到了发展。随着各种方法的改进，它们已经从超高端卫星和艺术保护系统转移到机器视觉相机，提供分辨率、帧率和价格的组合，使它们能够用于广泛的多光谱应用。

1 多光谱成像技术方案

（1）Two (or more) independent cameras (area or line scan)两个(或更多)独立摄像头(区域或行扫描)
为机器视觉设置更多的光谱范围的方法是将多个摄像机对准目标。例如：如果水果商想要检查颜色和寻找瘀伤，可以在设置中增加一个彩色相机和近红外相机。但将两幅图像的光谱图像结合到单一的检查步骤是极具挑战的。因此，任何试图“融合”两副图像通常是不成功的。多增加的相机成本也会增加。
（2）Filter-wheel camera (area scan)滤轮摄影机(区域扫描)
滤光轮相机（多窄带基于滤光片的成像仪）通过旋转安装在传感器或者镜头前的滤光轮中的滤光片来捕获多通道光谱图像，通常支持12及以上波段，可定制过滤器，但成像速度慢、耗时长、图像配准复杂、几何畸变复杂、定制滤波器成本高、系统鲁棒性差。

（3）Pixelated multispectral filter array (area scan)像素化多光谱滤波器阵列(区域扫描)
使用拜耳彩色滤光片阵列(CFA)和demosaicing的单传感器成像在目前的紧凑型和低成本彩色数码相机中已经得到了很好的应用。通过将CFA的概念扩展到多光谱滤波器阵列(MSFA)，人们可以在一次拍摄中获得多光谱，在某些情况下甚至是高光谱图像，而无需增加尺寸或成本。这种捕获方法也称为快照拼接成像。
快照马赛克传感器可以支持4到40个通道的VIS(可见)，VIS- nir和NIR-SWIR波长。在批量生产中实现非常高的基于像素的一致性一直是一个挑战。真实世界的波段可以有一个相对较高的串扰，这可以影响整体的光谱灵敏度，像素依赖的噪声参数，和光谱重建的准确性。

（4）Two cameras with a beam splitter (area scan)带有分束器的两个摄像头(区域扫描)
解决与多独立相机方法相关问题的一种方法是引入一个光束分束器元素，它可以同时从一套通用光学系统中在多台相机上捕捉图像。例如，使用两台拜耳模式摄像机，可以捕获两幅3波段图像，并将其重建为6通道(2倍RGB)光谱图像。
最大的缺点是系统中有多个摄像头，系统变得相当大和昂贵。此外，使用分束器会造成光强的损失。这种方法通常需要高功率照明，因此需要在高速和系统的光敏性之间进行权衡。

（5）Multi-sensor dichroic prism camera (area or line scan)多传感器二色棱镜相机(面扫描或线扫描)
乍一看，这似乎与分束器方法非常相似，但有两个非常显著的区别。首先，只有传感器，而不是完整的摄像机，被安装并对准了棱镜面。这使得前面描述的多摄像头光束分束器成像系统的尺寸显著减小。其次，棱镜块使用硬二色涂层作为干涉滤光片，引导入射光到每个传感器的适当光谱范围。因此，不是将相同的光分割到多个通道，从而降低其强度，而是每个通道接收到它需要捕获的范围内的全部光，无论这是光谱中可见或不可见区域的宽波段或窄波段。与镶嵌方法不同的是，可以实现每个波段的全空间分辨率。在区域扫描场景中，分辨率高达3.2万像素，每波段100 fps以上，而在行扫描场景中，每波段8192像素，35 kHz是可能的。这种方法的主要限制是棱镜的尺寸，因此相机需要支持多个大的传感器。这可能会限制可使用的传感器的最大分辨率和/或像素大小。
（6）Multi-line camera (trilinear with filters, quad, TDI-style line scan)多线相机(带滤镜的三线，四线，tdi风格的线扫描)
带有多线传感器的线扫描相机也可用于多光谱应用。带有三线性RGB传感器的线扫描相机在彩色成像应用中很受欢迎。四线传感器摄像机可以由RG-B-NIR或R-G-B-monochrome组成。这是实现多光谱成像的方法之一。
这种方法的缺点是光谱通道的数目越高，系统的水平分辨率就越低

（7）Pushbroom cameras for multispectral imaging (line scan)用于多光谱成像(线扫描)的推扫相机
传统上用于高光谱相机的“推扫法”也可以应用于多光谱成像，为可捕获的光谱波段增加了很大的灵活性。通过这项技术，可以逐行捕获全部空间和光谱信息。扫帚相机由三个主要部件组成，镜头、成像光谱仪和硅基图像传感器(在VIS-NIR的情况下)或InGaAs传感器(在NIRSWIR的情况下)。
虽然这种技术提供了很好的灵活性，但缺点是随着信道数量的增加速度加快。在全范围(224波段)，这是一个高光谱方法，帧率只有500赫兹。是可能的。这对于许多工业应用来说太慢了。

2 多光谱成像的区域扫描与线扫描

在解释的多光谱成像方法中，只有很少的方法可以用于高速、工业应用。在区域扫描中，基于多传感器棱镜的方法非常适合于大批量生产的高速产品的检测。其他用于区域扫描的方法，如像素化多光谱像素阵列(快照镶嵌)和基于滤波轮的方法对于工业成像来说太慢。除此之外，利用快照拼接相机进行像素信息的空间分辨率和重构也是非常具有挑战性的。基于滤镜轮的相机体积庞大，由几个运动部件组成，这降低了该方法的鲁棒性。尽管如此，与基于多传感器棱镜的方法相比，快照镶嵌和滤波轮方法提供更多的光谱波段。快照马赛克适合农业，智能农业，以及不需要良好空间精度的医学成像应用。滤镜轮式相机特别适合于旧绘画和古典艺术的数字存档。基于多传感器棱镜的相机在精准农业、智能农业、水果、蔬菜、肉类、海鲜和工业产品(如食品和药品包装、电子和印刷电路板)的在线检查方面工作得很好。
对于线扫描相机的多光谱成像，主要有两种具有良好潜力的方法。一种是使用Pushbroom高光谱传感器，它允许从高光谱方法(225个光谱波段)缩小到多光谱方法(5个光谱波段，6.5kHz线率)，这使得该方法可以用于工业中速应用，如食品、回收和包装商品的检查。
基于多传感器棱镜的线传感器方法允许非常高的速度(在4K像素高达77khz)，并同时成像可见光和近红外波段的组合多达四个光谱波段。速度使它可能使用这种方法的所有高速应用基于皮带，车道或自由落体排序。
第三种方法——使用带有光学过滤器的标准三直线传感器，降低水平线分辨率，并实现6到12个通道——多年来一直试图进军印刷、食品、陶瓷和纺织品检测领域，但由于复杂的校准程序，一直未能成功。精度低，api使用困难。

Chapter 4.多光谱相机选择时的影响因素

1.Ease of setup (system integration)

使用多光谱成像比使用标准机器视觉摄像机复杂得多。为了安装和集成不同组件的多光谱成像系统,重要的是要有良好的专业知识,不仅对相机标定过程包括光源、自然的对象进行检查,瓶颈引起的数据处理和图像数据的修正。整个系统集成可能不像高光谱系统那样复杂，但这取决于用户想要用多光谱成像系统实现什么。

2.Speed & Resolution

工业检验程序要求高吞吐量。许多多光谱系统的读出结构和结构在速度上受到限制。速度取决于波长通道的数量、使用的多光谱技术的类型和接口。光谱波段的数目越高，就越难以在高速应用中捕获所需的光量。空间分辨率也可能是多光谱成像的一个挑战，特别是在检查小物体时。基于快照拼接传感器的相机使用插值来估计从单个像素值中缺失的空间信息，但当涉及到检查较小的缺陷尺寸时，这不是非常准确。每个应用程序可能需要在可能的多光谱通道数量和可实现的速度和分辨率之间进行不同的权衡。

3.Number of spectral wavebands

应用程序所需的光谱波段数实际上取决于要检查的对象的性质、所需的检查精度，以及通过使用额外的光谱估计技术在图像处理方面可以达到什么精度。在一些应用中，如红色边缘检测或NDVI分析，很清楚地知道在红色和近红外区域的哪些波段需要从植物中获取所需的数据。对于塑料和有机材料来说也是如此，因为这些材料的光谱数据众所周知。另一个例子是荧光内窥镜，ICG吸收和荧光缓解带是已知的。在这种情况下，可能不要求超出有限数量的波段。然而，也有一些应用涉及到需要检测的不同材料的混合，或需要多个光谱波段来准确识别特定的波段，或基于多光谱成像的光谱颜色测量应用。这种应用需要相对较多的光谱波段。

4.Flexibility

灵活或可扩展的多光谱系统主要适用于不同类型的材料在同一台机器上检测的应用。灵活性允许用户根据应用的需要调整多光谱成像系统。这种灵活性主要取决于所需的光谱波段的数量，这确实增加或减少了成像系统的速度。某些系统的灵活性还意味着较低的鲁棒性，因为可能有需要替换的更改或移动部件(例如，在滤波轮方法中，滤波轮可以很容易地替换，但它在系统中添加了一个对系统鲁棒性有影响的移动部件)。另一方面，有些相机在制造时具有灵活性，但一旦产品完成就没有灵活性。多传感器棱镜相机在制造过程中具有灵活性相机的光谱响应可根据硬二色涂层和基棱镜参数进行选择。然而，一旦棱镜传感器组装完成，就无法更改。基于快照拼接传感器的相机具有相同的逻辑。一旦多光谱滤波器阵列固定在传感器上，就不能在检查任务中更换或修改它。

5.Handling of the multispectral data cube and data-streaming

多光谱成像的挑战之一是处理多光谱数据立方体。这远没有高光谱数据立方体复杂，高光谱数据立方体可以是每个像素几百个光谱，但它比处理传统的RGB相机系统更复杂。系统结构必须具有正确处理、过滤和解释多光谱数据的能力。频谱通道的数量越少，这就越不复杂。第二个挑战来自于数据从相机流到处理站的方法。在多流的情况下，它的优点是单个数据流可以被独立控制，挑战是如何在应用软件上管理这些数据流。处理多流需要能够同时处理两个或更多流的软件架构。专为单流设计的软件期望设备要么发送单帧，要么发送多部分有效负载，这些都是在同一时间可用的。因此，对于单帧和多部分有效负载，用户可以调用单个函数并从一个流获取图像。然而，有一些平台，如JAI的eBUS Player，可以在只读模式下第二次或第三次打开相机设备，并处理多个数据流。

6.System costs

决策的一个驱动因素总是成本。紧凑，用户友好，批量生产的相机成本低于高度专业化和庞大的系统。成本还受到需要执行的检查任务的驱动。与研究、高科技或科学成像领域的应用相比，终端消费者或接近终端消费者驱动的应用，如食品和农业检验，对价格更为敏感。如今，高端高光谱成像系统的价格在每台相机系统2万欧元左右。大规模生产的多光谱相机应该远低于10,000欧元的标准，以具有商业吸引力。基于多光谱相机的多光谱相机比其他方法，如基于多传感器棱镜的相机或基于多光谱阵列的相机更昂贵。值得注意的是，成本讨论必须考虑到多光谱成像能够提供的价值，以解决或简化现有成像问题。

Chapter 5.高光谱和多光谱相机的未来

用于测量物体光谱足迹的传统光谱仪已经经过了几十年的试验和测试。这些都是非常精确的，但并不适用于更大的视场，而且点测量技术在最近几年也没有获得太多的发展势头。

基于相机的成像技术是光谱成像的未来。然而，众所周知的事实是，高光谱成像在成像和图像处理的所有领域都提供了巨大的潜力。这是因为光谱成像或光谱分析是任何材料的最终物理足迹。在寻找这种光谱足迹的过程中，高光谱成像技术将继续发展。事实上，从空间和卫星成像到现在可以用于许多机器视觉应用，它已经走过了很长的一段路。它在实验室和研究应用方面取得了很大进展。但是，尽管这项技术有潜力，但在工业应用方面还没有取得很多突破。我们确实看到一些地区使用的工业成像高光谱成像,我们听到很多炒作的可能性与技术,然而作为第四章解释说,它仍然是非常复杂的,昂贵的,技术上不及格的工业检测应用程序。
从商业的角度来看，公司希望实现利基技术，但同时也希望市场能够负担得起，以便获得较大的市场份额。这在今天的高光谱成像中是不可能的。鉴于目前高光谱成像的局限性，多光谱成像作为一种桥梁技术，以高吞吐量、高分辨率、高稳稳性、有竞争力的价格、易于使用和基于有限数量的光谱波段进行工业化大批量商品检测。

多读文献多了解行业发展，今天心情不太好，后边好多都是直接搬运的原文机翻，大家都要做情绪的主人啊！！！不以物喜不以己悲，共勉！