实时句子级手语翻译系统新突破：Raspberry Pi实现低延迟交互

传统手语理解系统多局限于孤立词汇识别，难以支撑自然对话场景。最新研究聚焦句子级手语翻译（SLT）的实时部署挑战，提出软硬件协同的流式处理方案。研究团队在How2Sign数据集的9872个样本子集上，采用QLoRA技术对SHuBERT-ByT5翻译架构进行微调（保持SHuBERT冻结），取得验证集BLEU 16.7、测试集BLEU 15.9与BLEURT 44.7的性能表现。

核心创新在于硬件感知的系统设计：前端采用树莓派4B作为参考客户端，负责摄像头捕捉、本地文本显示与语音合成；后端在CPU/GPU服务器运行计算密集的感知与翻译任务。通过分块摄入、有界队列、并行感知、时序重排及句子边界状态机等优化策略，系统在完整测试集上将平均响应延迟从1.873秒降至1.354秒（提升27.71%），P95延迟从2.919秒降至2.130秒（降低27.03%）。该架构保持客户端无关性，可兼容浏览器、手机或笔记本等多种前端设备，为手语翻译的实际应用开辟了新路径。