登錄
註冊
據 Woofun AI 消息,OpenAI 開源教育項目 'Plant Talk' 正式公開發布,旨在通過整合實時 API、多模態視覺模型及 Arduino 微控制器,賦予室內植物環境感知與語音交互能力。
該系統利用計算機攝像頭與麥克風支持低延遲全雙工語音交互,並經由 Arduino 連接獲取土壤溼度及 LM393 光敏傳感器數據。AI 角色(如默認角色 'George')通過函數調用獲取硬件數據,結合圖像識別計算植物含水量、分支數量及最大伸展範圍等物理參數,以擬人化聲音回應用戶關於水分或光照的詢問。
在架構安全方面,後端 Express 服務器通過生成臨時客戶端密鑰將 WebRTC 連接安全轉發至前端,避免 API 主密鑰暴露。項目還結合 Zod 模式利用 Responses API 實現結構化數據輸出,代碼庫內含 AGENTS.md 操作指南,引導用戶完成軟件配置與硬件組裝。