[作品提交] 【2024 DigiKey 创意大赛】”双光融合“智能热像仪第四部分：手写数字识别

JOEYCH 2024-10-28 17:24 楼主

# 【2024 DigiKey 创意大赛】”双光融合“智能热像仪第四部分：手写数字识别
## 一、实现tensorflow的硬件说明
在前面的部分当中，我们已经实现了触摸屏的驱动，并将提供的openmv4升级为openmv4plus（官方数据：运行tensorflow-lite在OpenMV4 H7 Plus上面运行大概每秒45帧，在OpenMV4 H7上面运行大概每秒25帧左右，两者都是可以运行的），这都让我们在openmv上对较高性能的单片机运行神经网络做出更好的尝试。
## 二、tensorflow-lite介绍
TensorFlow Lite（TFLite）是 TensorFlow 团队推出的轻量级深度学习框架，专门为移动设备和嵌入式设备的机器学习推理进行优化。它支持在设备端（Edge）进行高效的推理操作，具有低延迟、低功耗、无需网络连接等特点。
### 1. **模型转换与优化**
TensorFlow Lite 提供了强大的工具来将标准 TensorFlow 模型转换为 TFLite 格式。转换后的模型体积更小，运行更高效，适合在资源受限的设备上运行。TFLite 支持以下几种优化技术：
 - **量化（Quantization）**：通过降低模型权重的精度（例如，将浮点数转为 8 位整数），来减少模型大小和内存占用，同时加速推理速度。
 - **修剪和剪枝（Pruning & Trimming）**：减少模型中不必要的参数，以降低模型复杂度和计算负担。
 - **模型分片（Model Splitting）**：将模型分成多块，以适应更小内存的设备:contentReference[oaicite:0]{index=0}。
### 2. **多平台支持**
TensorFlow Lite 设计为多平台兼容，能够运行在多种设备上，包括：
 - **Android 和 iOS 设备**：TFLite 提供了适用于 Java、Swift 和 Objective-C 的 SDK，使开发者能够在主流移动平台上集成机器学习功能。
 - **嵌入式 Linux 设备**：例如树莓派等，可以运行基于 Linux 的 TFLite 推理引擎。
 - **微控制器（Microcontrollers）**：如 Arduino、ESP32 等低功耗设备，这些设备在资源上非常有限，因此 TFLite 的微控制器版本经过极致优化，适合用于 IoT 设备:contentReference[oaicite:1]{index=1}:contentReference[oaicite:2]{index=2}。
### 3. **硬件加速**
TensorFlow Lite 支持硬件加速，以充分利用设备上的计算资源，实现更快的推理速度。这包括：
 - **GPU 加速**：在支持的 Android 和 iOS 设备上，TFLite 能够调用 GPU 来处理计算密集型任务，适合计算机视觉等应用。
 - **专用 AI 加速器**：例如，许多手机和嵌入式设备上配备的神经网络处理单元（NPU）或谷歌 Edge TPU，可以极大地加速机器学习推理。
 - **多线程支持**：可以在多个 CPU 线程上运行模型，进一步提高计算效率:contentReference[oaicite:3]{index=3}。
### 4. **应用场景与性能分析**
TensorFlow Lite 特别适合需要实时推理、低延迟的应用场景，如：
 - **计算机视觉**：如物体检测、人脸识别、图像分类等。
 - **自然语言处理**：包括文本分类、情感分析、问答系统等。
 - **语音处理**：如语音识别、关键词检测等。
参考文献：
- [TensorFlow Lite 概述](https://www.tensorflow.org/lite)
- [TensorFlow Blog 上的 TFLite 应用](https://blog.tensorflow.org)
## 三、tensorflow-lite的数据集训练
### 1. **数据集采集**
我所使用的触摸屏大小为2.4寸，分辨率为320*240。使用画图软件，将画布设置到相同的大小，白底黑字，使用鼠标写数字1~4各50张，如果可以的话，建议叫上你的朋友一起写~
### 2. **模型训练**
方法一：使用星瞳科技提供的云端训练平台来训练，无需配置环境，较为简单。
网站：https://ai.singtown.com/zh-hans/
方法二：使用openmv官方提供的ipynb脚本文件来训练，详情见附件

### 3. **训练结果导入并验证**
将训练好的trained.tflite，并复制到OpenMV的存储

直接使用摄像头识别的测试代码：
'''python
# This code run in OpenMV4 H7 or OpenMV4 H7 Plus

import sensor, image, time, os, tf

sensor.reset()         # Reset and initialize the sensor.
sensor.set_pixformat(sensor.GRAYSCALE)  # Set pixel format to RGB565 (or GRAYSCALE)
sensor.set_framesize(sensor.QVGA)  # Set frame size to QVGA (320x240)
sensor.set_windowing((240, 240))   # Set 240x240 window.
sensor.skip_frames(time=2000)    # Let the camera adjust.

clock = time.clock()
while(True):
  clock.tick()
  img = sensor.snapshot().binary([(0,64)])
  for obj in tf.classify("trained.tflite", img, min_scale=1.0, scale_mul=0.5, x_overlap=0.0, y_overlap=0.0):
  output = obj.output()
  number = output.index(max(output))
  print(number)
  print(clock.fps(), "fps")
'''

使用触摸屏输入的测试代码：
'''python
import sensor, image, time
import os, tf
from screen import screen

screen.init()

#创建用于绘图的画布，并填充黑色
img_drawing_board=sensor.alloc_extra_fb(320,240,sensor.GRAYSCALE)
img_drawing_board.draw_rectangle(0,0,320,240,fill=True,color=(255, 255, 255))

fps=0 #帧速变量
last_x=0  #上一次x坐标
last_y=0  #上一次y坐标
first_time_press=True #第一次按下（抬笔后线条不连续）
is_drawing = False

clock = time.clock()  #声明时钟，用于获取帧速
while(1):
  if screen.press:  # 如果触屏被按下
  if first_time_press:  # 如果首次按下，绘制一个点
   img_drawing_board.draw_line(screen.x, screen.y, screen.x, screen.y, color=(0, 0, 0), thickness=3)
   last_x = screen.x# 记录本次坐标到‘上一次’变量
   last_y = screen.y
   first_time_press = False# 解除首次标识
   is_drawing = True# 开始绘制
  else: # 非首次按下，绘制连续线条
    img_drawing_board.draw_line(screen.x, screen.y, last_x, last_y, color=(0, 0, 0), thickness=3)
    last_x = screen.x# 记录本次坐标到‘上一次’变量
    last_y = screen.y
  elif is_drawing: # 如果之前正在绘制且现在不再按下
  for obj in tf.classify("03.tflite", img_drawing_board, min_scale=1.0, scale_mul=0.5, x_overlap=0.0, y_overlap=0.0):
    output = obj.output()
    number = output.index(max(output))
    print(number)
  img_drawing_board.draw_rectangle(0,0,320,240,fill=True,color=(255, 255, 255))
  first_time_press = True # 置首次标识为True，等待下一次绘制
  is_drawing = False# 结束绘制状态
  screen.display(img_drawing_board) #显示图像到屏幕，并获取触摸信息。不运行此函数，不会更新触屏信息。
'''

可以看到，终端中准确的识别出了我们写的数字，实验成功！

回复评论（3）

引用: wangerxian 发表于 2024-10-29 19:23 这个和之前咱们做的AI活动数字识别是不是相似？

不好意思，没有了解过这个活动。

点赞 2024-10-30 13:51

[作品提交] 【2024 DigiKey 创意大赛】”双光融合“智能热像仪第四部分：手写数字识别

回复评论（3）

沙发求近似

板凳 wangerxian

4楼 JOEYCH

[作品提交] 【2024 DigiKey 创意大赛】”双光融合“智能热像仪第四部分：手写数字识别

回复评论 （3）

沙发 求近似

板凳 wangerxian

4楼 JOEYCH

回复评论（3）

沙发求近似