双光融合智能热像仪设计与实现

作品简介

本项目为一款“双光融合”智能热像仪，“双光融合”指的是可见图像与热图像相融合。该设备硬件上基于高性能STM32H7微控制器，软件上基于使用micropython语言的OPENMV开源项目和“TensorFlow Lite”AI模型框架，实现了图像采集的高效率和手写数字分析的高精度。听取“秦天”大佬的建议，添加LCD触摸屏提供直观的用户交互体验，支持模式的快速切换和实时监测分析。

“双光融合”智能热像仪在医疗健康领域能够进行体温检测，快速判断发烧症状，在工业应用中则可以监测电路板焊接作业中的热量分布，帮助技术人员定位问题。此外，设备的便携性设计和自主充电方案，使其在移动便携使用时也能保持长时间的续航能力。

主要技术特点：

• 基于高性能STM32H7微控制器控制，集成了两种类型的图像传感器：可见光摄像头OV5640和红外传感器MLX90640，用于高效准确的数据采集。
• 热成像仪基于开源框架OPENMV进行开发，利用插值算法、二值化滤波和图形融合等高级图像处理技术，以优化图像质量和分析精度。
• 利用TensorFlow Lite框架，自主训练模型，在嵌入式设备进行优化，通过神经网络算法对图像进行准确的识别。
• 设备配备了LCD触摸屏，支持在屏幕上手写数字，切换3种工作模式：图像显示、二值化处理、高温测量和热成像融合。

系统框图

“双光融合”智能热像仪的硬件设计思路，主要包括以下几个部分：

• 可见光传感器 OV5640：用于捕捉可见光图像。OV5640是一款500万像素的CMOS图像传感器，支持最高2592x1944分辨率和15fps的QSXGA图像输出。它具备自动曝光和白平衡功能，支持DVP和MIPI接口，以及JPEG图像格式输出。传感器内部集成了图像处理功能，并可通过SCCB接口进行寄存器配置。
• 热成像传感器 MLX90640：用于获取红外热成像数据。MLX90640是一款32x24像素的红外阵列传感器，具有0.1K RMS@1Hz的高NETD，支持1Hz至60Hz的可编程刷新率。采用3.3V供电，最大电流23mA。提供两种视场角，工作温度范围-45℃至85℃，测温范围-40℃至300℃。支持I2C接口，适用于多种温度测量和监控应用。
• 主控（openmv开源项目）：基于openmv的开源项目，总体结构上在openmv4的基础上升级为openmv4plus。硬件部分在原有开源项目基础上进行了优化，包括供电布局设计和双电源处理电路的改进，同时添加了充电功能（可以边冲边用）和电量检测功能（需要软件支持）。
• 触摸屏（2.8寸开源方案）：显示部分基于B站up主“程双双的智能控制集”的开源方案，电路设计部分进行了简化。

软件设计主要思路为状态机切换设计，具体内容如下：

• 切换方式：通过在触摸屏上手绘数字进行识别，切换状态。（该功能仅作为在单片机上运行AI的尝试 ，并不实用）
• 状态一：可见光模式：此模式下仅启用可见光传感器（OV5640），用于捕捉可见光图像。
• 状态二：二值化边缘检测模式：在此状态下，系统会对图像进行二值化处理，进行边缘检测，从而更好地识别目标物体的轮廓。
• 状态三：“双光融合”热像模式：启用双传感器（可见光和热成像）进行融合检测，用于复杂环境下的危险物体识别或监控。

三种模式下的工作参数：

各部分功能说明

实物整体设计紧凑，集成可见光传感器、热成像传感器、主控板和触摸屏，便于携带和使用。

作品源码

项目软件、硬件原理图、文档等资源已提供下载。软件使用方式：openmv插上电脑后，将software文件夹中所有文件放入openmv弹出的U盘中即可。

下载链接：https://download.eeworld.com.cn/detail/JOEYCH/634847

作品功能演示视频

详细功能演示视频可在原帖子中观看。

链接汇总

• “双光融合”智能热像仪 物料开箱
• “双光融合”智能热像仪第一部分：可见光部分实现
• “双光融合”智能热像仪第二部分：热像显示
• “双光融合”智能热像仪第三部分：触摸屏制作/双光融合
• “双光融合”智能热像仪 番外与说明
• “双光融合”智能热像仪第四部分：手写数字识别

项目总结

在本项目中，我开发了一款“双光融合”智能热像仪，其核心功能是将可见光图像与热图像相融合，实现对场景的多维度检测和分析。硬件设计基于高性能的STM32H7微控制器，结合OPENMV开源平台和TensorFlow Lite AI框架，使得设备在图像采集方面具备了高效率，并在手写数字识别等应用中达到了较高的精度。此外，在“秦天”大佬的建议下，加入了LCD触摸屏，实现了直观的用户交互，使模式切换与实时监测更为便捷。这款设备在医疗健康和工业领域具有广泛应用，如体温检测和电路板热量监测等，展示了显著的实用价值。

然而，项目中也存在一些不足之处，比如在双光图像融合的精度和响应速度上还有进一步优化空间，此外，便携性设计虽然达标，但在极端环境下的稳定性仍有待提升。未来，我计划在算法优化和硬件适应性方面进行更深入的改进。

在此项目中，我们深深感谢得捷电子（Digi-Key）和EEworld电子工程世界论坛为我们提供的支持和平台。正是他们的支持，让我能够接触到前沿的技术资源、交流学习的机会，并将创意付诸实践。此外，感谢广大网友对项目的关注与建议，他们的反馈为项目的优化和改进提供了宝贵的参考。在整个过程中，得捷电子、EEworld论坛的支持与广大网友的鼓励都给予了我巨大的动力，让我在研发过程中不断挑战自我、追求卓越。

如需查看更多详细内容、图片和视频，请访问原帖子：【2024 DigiKey 创意大赛】”双光融合“智能热像仪 作品总结与提交。