一块小小的免费PCB，就能让手机秒变热成像仪！

还是贼拉高清的那种！

总开发成本也就100元左右！

这不得围观一下！

一、开源描述

抛开了传统的热成像仪制作方式，使用可见光camera和热成像传感器制作了一个双目手机热成像仪。像素：640x480。

目前，项目已全开源。

——这个热成像仪的设计原理是什么？电路如何设计？软件如何设计？使用了什么算法和技巧？

下面一一进行分析！

二、项目功能实现原理

了解功能原理前须知：

热成像仪，为什么要设计成“双目”的？

• 可见光相机具有分辨率高、帧率高的特点。
• 热成像传感器可以测量温度分布，但是分辨率低、帧率低。

使用可见光图像来补偿热成像图像，就可以达到热成像图——质量高、分辨率高的效果。

那具体的功能实现是怎样的？下面就分析一下！

本项目整体功能框架图如下。

首先MCU通过I2C接口读取热成像传感器数据，通过USB接口传向USB Hub。

Camera通用免驱USB摄像头，也接到USB Hub上面。

然后将Usb Hub和Android手机连接。

接着，Android手机的应用层就会获取到两个传感器的数据。

通过一定算法进行融合，就能得到——分辨率较高、质量较好的热成像图！

这是热水壶热量分布图：

这是白天公园的热量分布图：

这是夜间街道的热量分布图：

想实现这样的效果，软硬件该如何设计呢？

三、硬件设计原理

原理图

PCB图

本章会将原理图拆分为5部分，一一说明一下。

1.MCU

MCU使用的是STM32F411CEU6，带USB FS，其带浮点运算单元可对热成像数据进行解算。

2.USB Hub

USB Hub使用的是SL2.1A，支持USB HS，可以用于传输摄像头数据。此处接了晶振，可不焊接。

Camera则通过焊接方式连接到CAM_DM/CAM_DP。

USB1是一个USB TypeC公头，用于连接手机。

3.热成像传感器

热成像传感器使用的是MLX90640。

• 分辨率：32x24像素；
• I2C接口最高速率：1MHz。

4.电源

电源这里直接使用了一块LDO进行稳压，型号是ME6211。

这可以直接用低ESR的陶瓷电容进行输入输出的稳压。

5.其他

电源灯和测试LED电路：

调试SWD接口：

测试点，固件使用UART2作为Debug串口：

完成了硬件部分的设计，咱们再深入剖析一下，软件部分的核心算法是什么！

四、软件设计原理

软件部分，将重点分析——软件设计思路、Android APP设计、数据融合算法，这三个部分。

1.软件设计思路

开发环境使用STM32CubeIDE。

软件整体设计框架图如下：

通过I2C从mlx90640读取数据，进行打包，再使用USB发送读取到的数据。

整个过程使用一个循环即可。

其中mlx90640的温度测量范围是-40到300摄氏度。

值得注意的是：

温度测量范围需要保留两位小数，转换为整型为-4000到30000，也可以用16位整型覆盖，使用一个0x8000为起始码，后续跟768个温度数据。

mlx90640官方已经提供驱动，只需要实现对应I2C的读写操作，即可通过API来读取传感器数据。

USB库由CubeIDE自动生成，直接调用USBCDC发送数据即可。

2.Android APP

Android端主要负责——数据读取、融合和显示功能的实现。

这里有两个USB设备：

• 一个是USB串口，用于传输热成像数据；
• 一个是USB摄像头，用于传输图像数据。

①软件框架

Camera和热成像传感器的数据读取都有对应的库支持。

由于两个库对数据的读取都是用的异步回调的方式，因此这里采用双buffer缓存的机制

就以Camera为例，解析一下数据读取的逻辑：

初始化一个长度为2的队列。回调发生时，就新申请一块buffer，然后将YUV数据拷贝到这块buffer中，再将这块buffer放入队列。

再起一个线程，不断从队列中读取数据，用于数据融合。

如果线程读取太慢，回调发现队列已经满，则从队列中取出一块buffer丢弃，然后再将新的buffer放入队列。

如果回调一直不来，线程队列为空，则跳过下一次再读取。因为每一次回调都会新申请一块buffer，因此buffer不存在并发问题。

队列添加和删除访问的都是同一个数据结构，存在并发问题，操作时需要注意上锁。

如上所述，Camera有两个队列：

• 一个存放YUV数据；
• 一个存放热成像数据。

只通过一个线程来访问两个队列。两个队列都有数据时才取出，并进行数据融合。

由此我们得出，软件总体运行流程如下：

②Camera数据读取和预览

Android对摄像头的支持使用UVCAndroid。

该库基于saki4510t/UVCCamera开发，提供了更为简单的接口。

③热成像数据读取和预览

热成像数据通过USBCDC传输，在Android端看到的是一个虚拟串口。

Android开发环境中，主要使用felHR85/UsbSerial提供虚拟串口的操作支持，并在回调中将热成像数据放入队列中。

3.数据融合

上面提到过多次“数据融合”。

那么，要如何获取数据，并进行融合呢？

①获取数据

使用一个线程即可获取数据。

这里预计可见光相机的帧率会比热成像帧率更高。

因此在等待mYUVQueue队列有数据时才会进行数据融合。

当 mThermalQueue 没有数据时，则默认使用上一帧的数据。

②融合算法

这里摄像头采集的是可见光的图像，分辨率是640x480；

热成像采集的是温度分布，分辨率是32x24。

融合算法的目的是——通过参考可见光的图像，让热成像采集的温度图像分辨率更高，拥有更多的细节。

该算法基于一个假设：颜色相近的像素，大概率来自同一个物体，对应的温度也应该相近。

该算法的流程如下：

将热成像温度的分布，通过线性插值扩大到640x480像素。

以当前像素点为中心，选定一个长宽为REF_LEN的方形区域。

• 假设当前camera像素的亮度值为v；
• 方形区域中每个camera像素的亮度值为v_i；
• 每个thermal像素的亮度值为t_i。
• 计算当前像素和参考区域每个像素的差值delta_v_i。

计算系数矩阵，系数表示每个像素的权重。

• 当delta_v_i >= 0时，k_i = 1 - delta_v_i / 255；
• 当delta_v_i < 0时，k_i = 1 + delta_v_i / 255。

计算估计值矩阵，表示每个像素相对于当前像素温度的估计值，t_hat_i = k_i * t_i。

计算估计值矩阵的平均值，即当前像素的温度估计值。

由以上算法可知，在参考值矩阵中，与当前像素值色度差值越小，对应的系数k_i也就越大，对应温度的估计值也就越大，对应的估计的温度也就越接近。

举个栗子。

使用如下两个图片进行本地仿真。

第一张是camera拍的图片，第二张是热成像获取的经过插值放大后的温度分布图片。分辨率均为640x480。

当REF_LEN = 4时，融合结果如下：

当REF_LEN = 7时，融合结果如下：

可见，加入融合算法之后，原本插值放大的低频信息中，多出了一些高频细节。

色彩映射

完成一个热成像仪的最后一步，就是将融合后的图像转为伪彩色，再按照YUV的方式映射到camera图像中。

最终效果如下：

因为色彩映射的原因，原本热成像融合出的高频细节被淹没在海量的camera图像细节中，因此图像融合算法的效果并不明显，后续可能会分为两种模式分别进行输出。

参考资料：

[1]https://oshwhub.com/colourfate/binocular_thermal_imager

— 完 —

嘉立创EDA·头条号

关注我，看一手优质开源项目