HomeProjects信息及通訊科技全球首個具手語自動識別技術多語言網上手語遊戲「手語村」

全球首個具手語自動識別技術多語言網上手語遊戲「手語村」

項目簡介

項目負責人

  • 鄧慧蘭教授

    語言學及現代語言系

  • 資助機構

    日本財團

  • 合作夥伴

    日本財團、Google、關西學院大學手語研究中心

「手語村(SignTown)」是一款網絡實時手語識別遊戲,玩家要控制角色用手語與村民交流來完成任務。此項目運用了機器學習端到端開源平台TensorFlowTM技術,用以訓練手語識別模型。玩家能通過電腦和網絡攝像鏡頭學習和嘗試打手語,而人工智能識別系統就會對玩家所打手語的準確度作出回應。「手語村」涵蓋各種日常生活主題,亦會介紹不同地區的聾人文化。玩家可在遊戲內學習及使用香港和日本兩種不同手語。

 

「手語村」遊戲的首頁
玩家透過不同的手語來獲取相應的物品
遊戲內介紹不同地區的聾人文化
使用多種機器學習模型來追蹤手語的語音特徵

特點及優勢:

  • 毋須特殊設備或特定環境,亦能追蹤面部表情和非手控特徵
  • 可隨時切換香港和日本兩種不同的手語
  • 更準確的手語識別結果

Do you like our project?

MORE TO EXPLORE