Valve新專利介紹了利用光流來進行VR頭顯追蹤的傳感器系統 一起來看看
原標題:Valve新專利介紹了利用光流來進行VR頭顯追蹤的傳感器系統 一起來看看
日前美國專利商標局公布了V社一份用于頭顯定位追蹤的專利申請。名為“Position tracking system for head-mounted displays that includes sensor integrated circuits”屬于一份專利延續案,并主要介紹了包括利用光流來進行頭顯追蹤的傳感器系統。
據百科介紹,當物體在運動時,圖像對應點的亮度模式同樣在運動。這種圖像亮度模式的表觀運動就是光流(optical flow)。光流表達了圖像的變化,由于它包含了目標運動的信息,所以可用來確定目標的運動情況,并用來幫助判斷追蹤對象的位置。

圖2是示例性頭戴式顯示器的前視圖。208a-n#皆為光流傳感器集成電路
專利描述的頭戴式顯示器可包括穿戴于用戶頭部的支撐結構;由支撐結構承載的攝像頭;由支撐結構承載的多個光流傳感器集成電路;至少一種非傳輸處理器可讀存儲介質;以及至少一個耦合到攝像頭、多個光流傳感器ic和至少一個非傳輸處理器可讀存儲介質的處理器。
在操作中,攝像頭以第一幀速率捕獲視場中的圖像傳感器數據。多個光流傳感器集成電路中的每一個以第二幀速率在各自視場捕獲圖像傳感器數據。傳感器集成電路視場比攝像頭視場窄,第二幀速率大于第一幀速率。處理器從攝像頭和多個光流傳感器集成電路接收圖像傳感器數據,對接收到的圖像傳感器數據進行處理;并至少部分地根據圖像傳感器數據的處理來追蹤頭戴式顯示器的位置。至少一個處理器可以融合來自攝像頭和多個光流傳感器集成電路的圖像傳感器數據以追蹤頭戴式顯示器的位置。
多個光流傳感器集成電路中的每一個可以包括單個die,其具有圖像感測電路和圖像處理電路。第一幀速率可以小于或等于每秒100幀,并且第二幀速率可以大于或等于每秒1000幀。至少一個處理器可以處理接收到的圖像傳感器數據,以檢測頭戴式顯示器工作環境中存在的一個或多個特征。每個傳感器集成電路視場可以與攝像頭視場的一部分重疊。攝像頭視場可能大于100度。
頭戴式顯示器另外可同時包括一個耦合到至少一個處理器的慣性測量單元(IMU)傳感器。在操作中,處理器從IMU傳感器接收IMU傳感器數據,并從攝像頭和多個光流傳感器集成電路接收圖像傳感器數據。然后,處理器至少部分地根據對接收到的IMU傳感器數據和接收到的圖像傳感器數據的處理來追蹤頭戴式顯示器的位置。

如專利圖3所示,前置攝像頭#206和傳感器集成電路#208正朝向用戶場景或環境#214。環境#214可包括其中的一個或多個對象#213,一個或多個對象#213可以是墻面、天花板、家具、樓梯、汽車、樹木或任何其他類型的物體。
出于解釋目的,圖3中僅顯示傳感器集成電路208a、208d、208j和208l。如圖所示,前置攝像#206包括具有視場角#207(如60度、90度、120度、150度)的視場#210。每個傳感器集成電路具有各自的視場#212,其具有各自的視場角#209。在至少一個實施方式中,傳感器集成電路的視場角#209比前置攝像頭視場角#207窄。
在至少一個實現中,前置攝像頭#206、傳感器集成電路#208和/或IMU#216可與一個或多個基站或其他技術結合使用,從而追蹤頭顯系統的位置。
例如,多個傳感器集成電路可用于檢測光流。在操作中,多個傳感器集成電路中的每一個以第二幀速率在相應的視場中捕獲圖像傳感器數據,并利用光流數據來對頭顯系統進行追蹤。
在至少一個實現中,傳感器集成電路中的每一個可以是能夠測量光流或視覺運動,并且能夠輸出基于光流的測量的視覺傳感器。傳感器集成電路可以具有各種配置。一個示例配置是連接到編程為運行光流算法的處理器的圖像傳感器芯片。另一示例配置使用視覺芯片,視覺芯片可以是在同一芯片同時具有圖像傳感器和處理電路的集成電路,從而允許緊湊的實現。在至少一個實現中,可以使用模擬信號或混合信號電路來實現處理電路,以使用最小電流消耗來實現快速光流計算。每個傳感器集成電路可包括光電材料的光電傳感器陣列以形成像素陣列。另外,每個傳感器集成電路可包括相關聯的透鏡系統以實現所需的光學特性。
名為“ Position tracking system for head-mounted displays that includes sensor integrated circuits”的專利申請最初在2021年1月提交,并在日前由美國專利商標局公布。
?????投稿郵箱:jiujiukejiwang@163.com ??詳情訪問99科技網:http://www.hacbq.cn
推薦資訊
























