登录
注册
据 Woofun AI 消息,OpenAI 开源教育项目 'Plant Talk' 正式公开发布,旨在通过整合实时 API、多模态视觉模型及 Arduino 微控制器,赋予室内植物环境感知与语音交互能力。
该系统利用计算机摄像头与麦克风支持低延迟全双工语音交互,并经由 Arduino 连接获取土壤湿度及 LM393 光敏传感器数据。AI 角色(如默认角色 'George')通过函数调用获取硬件数据,结合图像识别计算植物含水量、分支数量及最大伸展范围等物理参数,以拟人化声音回应用户关于水分或光照的询问。
在架构安全方面,后端 Express 服务器通过生成临时客户端密钥将 WebRTC 连接安全转发至前端,避免 API 主密钥暴露。项目还结合 Zod 模式利用 Responses API 实现结构化数据输出,代码库内含 AGENTS.md 操作指南,引导用户完成软件配置与硬件组装。