在 I/O 2023 大會(huì)上，谷歌推出了其最新創(chuàng)新項(xiàng)目 Gameface。這項(xiàng)開源技術(shù)使用戶能夠通過(guò)頭部運(yùn)動(dòng)和面部表情來(lái)控制計(jì)算機(jī)的光標(biāo)，從而使游戲和其他任務(wù)更加輕松。
谷歌與患有肌肉萎縮癥的四肢癱瘓視頻游戲主播蘭斯·卡爾合作，根據(jù)他的故事創(chuàng)建了 Gameface 項(xiàng)目。蘭斯的病情影響了他的肌肉，使標(biāo)準(zhǔn)的鼠標(biāo)控制變得困難，因此谷歌著手創(chuàng)建一種免提選項(xiàng)。
用戶可以通過(guò)面部表情輕松作設(shè)備，例如抬起眉毛進(jìn)行點(diǎn)擊和拖動(dòng)，或張開嘴巴移動(dòng)光標(biāo)。這項(xiàng)技術(shù)對(duì)殘障人士尤其有利，為他們提供了一種與 Android 智能手機(jī)連接的新方式。
Project Gameface 的開發(fā)遵循三個(gè)基本原則：為殘障人士提供更多使用設(shè)備的方式、確保為大眾提供具有成本效益的解決方案、優(yōu)先考慮用戶友好性和定制化。
谷歌與 playAbility 和 Incluzza 聯(lián)合開放了 Project Gameface 的更多代碼，讓開發(fā)者能夠?qū)⒃摷夹g(shù)融入各種應(yīng)用中。例如，幫助殘疾人士的印度社會(huì)公司 Incluzza 調(diào)查了 Project Gameface 在教育和工作環(huán)境中的使用情況，例如撰寫信息或?qū)ふ夜ぷ鳌?/p>
“我們很高興看到像 playAbility 這樣的公司在其包容性軟件中使用 Project Gameface 構(gòu)建塊，例如 MediaPipe Blendshapes。現(xiàn)在，我們正在為 Project Gameface 開放更多代碼，以幫助開發(fā)人員構(gòu)建 Android 應(yīng)用程序，使每臺(tái) Android 設(shè)備都更容易訪問(wèn)。通過(guò)設(shè)備的攝像頭，它可以無(wú)縫跟蹤面部表情和頭部運(yùn)動(dòng)，將它們轉(zhuǎn)化為直觀和個(gè)性化的控制，”谷歌在其博客文章中表示。
博客文章進(jìn)一步指出，開發(fā)人員現(xiàn)在可以創(chuàng)建應(yīng)用程序，允許用戶通過(guò)改變面部表情、手勢(shì)大小、光標(biāo)速度等來(lái)定制他們的體驗(yàn)。
谷歌還在 Android 設(shè)備上添加了虛擬光標(biāo)，增強(qiáng)了 Project Gameface 的功能。指針使用 MediaPipe 的面部特征檢測(cè) API 跟蹤用戶的頭部運(yùn)動(dòng)，面部表情則啟動(dòng)動(dòng)作。
此外，開發(fā)人員可以使用 52 個(gè)面部混合形狀值，從而實(shí)現(xiàn)多種功能和自定義選擇。Project Gameface 的總體目標(biāo)是提高技術(shù)的包容性和對(duì)所有用戶的可訪問(wèn)性，無(wú)論他們的身體能力如何。