基于大语言模型的智能家居平台设计与实现

本作品以乐鑫的ESP32-S3-LCD-EV-BOARD为家居平台的核心主控，搭配以DFROBOT的TCS3200颜色传感器（SEN0101）以及Adafruit的15x7矩阵灯板作为家居平台的主要演示场景平台，并以Adafruit的Feather TFT ESP32-S3作为协控中心，处理器件与上位机等的通信服务等任务。

一、作品简介

ESP32-S3-LCD-EV-Board 是一款基于 ESP32-S3 芯片的屏幕交互开发板，通过搭配不同类型的 LCD 子板，可以驱动 IIC、SPI、8080 以及 RGB 接口的 LCD 显示屏。同时它还搭载双麦克风阵列，支持语音识别和近/远场语音唤醒，具有触摸屏交互和语音交互功能。

TCS3200颜色传感器（SEN0101）是一款全彩的颜色检测器，包括了一块TAOS TCS3200RGB感应芯片和4个白色LED灯，TCS3200能在一定的范围内检测和测量几乎所有的可见光。

Adafruit的两个板卡，性能强大，功能丰富，作为本次任务的辅助器件，起到了关键作用。

二、系统框图

本项目的设计框图大致可以分为三部分：首先是PC机上的云端服务，负责提供flask的总体通信交互框架，用于不同板卡间以及与上位机的通信交互；同时在上位机上部署了大语言模型的推理服务；通过ESP32-S3-LCD-EV-BOARD的LVGL界面完成与用户的人机交互，收集用户意向后，经由GPT-4o模型的分析，通过Function Call等技术完成推理，进行决策，下发任务；这些细节任务的执行则由Adafruit的ESP32板辅助完成。

三、各部分功能说明

首先在上位机PC上启动flask服务以及大语言模型推理服务的接口。

然后将Adafruit的ESP32S3板卡与矩阵灯板以及SEN0101传感器相连，连接对应引脚，配置I2C地址后上电。默认情况下，灯板以及LED灯都是熄灭状态。ESP32烧录了CPY固件，板载小屏幕显示输出信息，连接到wifi后显示地址，并监听5005端口，等待大语言模型下发的指令。

将ESP32的EV板上电，可以看到基于LVGL构建的交互界面：最上方显示连接wifi后分配的IP地址，中间是一个文本输入框，用来接收用户输入的文字文本信息，下方一个按钮用来确认输入。

点击文本输入框，界面会自动弹出一个软键盘，方便用户直接输入信息。

用户可以自由输入感受、想法等文本信息。例如，输入“it is night already”并点击确认，首先会回显确认信息，然后借由flask服务将文本信息转发至PC机，基于Function Call技术进行大语言模型处理。

大语言模型输出显示，模型成功意识到现在天色已晚，潜台词需要开灯照明。然后查看“白炽灯”状态，已经由大语言模型智能处理，打开了灯泡开始照明。

同理，输入如“I am hot”之类的主观感受，大语言模型也会指挥开启空调服务。输入“I am so bored”让大模型帮忙找点乐子，大模型会用灯板摆出字符图案逗你开心。

四、作品源码

项目源码已分享，下载链接：https://download.eeworld.com.cn/detail/SeasonMay/634838

五、作品功能演示视频

作品功能通过视频进行了详细演示，展示了智能家居平台的交互过程和响应效果。

六、项目总结

感谢EEWorld和得捷电子举办这个活动，让我能够学习到知识并将项目付诸实践。项目还有优化空间，我会继续学习完善。学习过程中整理的知识分享链接：开箱贴、ESP32学习分享贴、大语言模型学习分享贴。

想查看详细图片和视频演示，请访问原帖子：【2024 DigiKey创意大赛】+基于大语言模型的智能家居平台+最终提交贴。