據 Woofun AI 消息，谷歌在 Pixel 9 和 Pixel 10 系列設備中部署多令牌預測（MTP）架構，顯著優化內置 Gemini Nano v3 模型的運行效率。該架構將輕量級 Transformer 預測模塊嵌入已凍結的主模型結構，在保持原有安全性與輸出質量的前提下，使設備端推理速度提升 50% 以上。

針對傳統貪婪解碼方法中獨立模型消耗額外內存且無法訪問主模型內部狀態的問題，MTP 架構通過複用主模型特徵信息提高了候選令牌預測準確性。谷歌引入零拷貝機制，允許預測模塊通過跨注意力機制直接讀取主模型現有緩存數據，消除啓動延遲並節省約 130MB 運行內存。在實際應用中，該架構使通知摘要等任務平均多預測近 2 個令牌，減少處理器喚醒以節約電量；在智能回覆等結構化文本生成任務中，候選令牌接受率提高 55%。