Google合作開發手語識別技術,嘗試玩 “手語小鎮”,像遊戲一樣加深想要學習理解手語的人

Google合作開發手語識別技術,嘗試玩 “手語小鎮”,像遊戲一樣加深想要學習理解手語的人

9月23日是”國際手語日

聯合國於2017年12月19日通過決議,旨在承認手語(以下簡稱手語)等同於語音,保障聾人的人權。這將是重新認識手語的一天。

然而,有很多人說,“我不懂手語”,“我從來沒有做過”,或者“我沒有機會嘗試我學到的東西”。

手語學習網游《手語小鎮》是這類人的必試之作。

 

什麼是手語小鎮?-由日本財團與香港中文大學、關西學院大學和谷歌合作開發
手語小鎮是由支持公益事業的社會貢獻基金會日本財團與香港中文大學、關西學院大學和Google合作開發的可在網絡瀏覽器上玩的遊戲。它目前處於測試階段,但正在測試開發,目的是在國際手語日正式發布。

 

香港中部大學將與日本基金會共同監督整個項目,從學術角度監督手語語言學,收集手語數據,提供有關聾人的知識,關西學院大學將收集日本手語的學習數據。谷歌負責提供有關人的知識、規劃項目概念以及使用 AI 研究和開發手語識別技術。日本財團提供有關手語和聾人的知識,並提供發展所需的資金。

 

在手語小鎮項目中,我們開發了一種機器學習模型,即使使用只能識別 2D 的普通相機,也可以識別包括上半身、頭部、面部和嘴巴在內的 3D 手語動作。通過收集和學習日本和香港每天使用手語的聾人的手語視頻數據,可以判斷手語學習者是否能夠正確地表達手語。底層手語識別技術利用TensorFlow結合三種機器學習模型(PoseNet、Facemesh和手部追踪),源碼開源。

 

如果您想學習網絡攝像頭、PC 和網絡瀏覽器以及手語,您可以立即開始。
玩遊戲所需的只是一台帶有網絡攝像頭的電腦、一個連接到互聯網的網絡瀏覽器,以及學習手語的願望。無需帳戶註冊或計費。此外,無需提前記住手語。

 

點擊查看更多資訊



%d 位部落客按了讚: