2026-05-06
【學術亮點-頂級會議論文】以Tri-Plane修復為基礎的高韌性人體受遮擋場景三維渲染技術
Font Size
Small
Middle
Large
【學術亮點-頂級會議論文】以Tri-Plane修復為基礎的高韌性人體受遮擋場景三維渲染技術
AI core Technology: Advanced Research and Resource Integration Platform or AI Technology
【Institute of Data Science and Information Computing / Hao-Chiang Shao / Associate Professor】
核心技術：AI核心技術之進階研究與資源整合平台
【資料科學與資訊計算研究所 邵皓強 副教授】
上架日期：2026/4/21
AI core Technology: Advanced Research and Resource Integration Platform or AI Technology
【Institute of Data Science and Information Computing / Hao-Chiang Shao / Associate Professor】
核心技術：AI核心技術之進階研究與資源整合平台
【資料科學與資訊計算研究所 邵皓強 副教授】
| 論文篇名 | 英文：Occlusion-Robust Human Rendering Based on Tri-Plane Restoration 中文：以Tri-Plane修復為基礎的高韌性人體受遮擋場景三維渲染技術 |
| 期刊名稱 | 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2026)(指標清單會議) |
| 發表年份, 卷數, 起迄頁數 | 2026, pp. 10087-10091, Barcelona, Spain. |
| 作者 | Shao-Ping Wang; Hao-Chiang Shao*(邵皓強); Chia-Wen Lin |
| DOI | 10.1109/ICASSP55912.2026.11462040 |
| 中文摘要 | 在存有嚴重遮擋的情況時，從單眼攝影機所拍攝的影片來重建三維人體場景是極富有挑戰性的工作。我們在本研究中提出一個名為「OcResMan」以tri-plane特徵修復為基礎的架構來重建被「遮擋的3D人體場景」，以可見區域中連續且一致的特徵來補償遮擋區域中的不連續性。OcResMan 包含兩個關鍵組件：幾何細化模組（Geometric Refinement Module, GRM），用於修正潛在空間中的不連續現象，以提升結構一致性；以及引導式監督策略（Guided Supervision, GSV），在學習過程中聚焦於可見區域，同時靈活處理未觀測到的邊界。於合成資料與真實資料上的實驗結果顯示，OcResMan 能穩定優於現有最先進方法，即使在嚴重且長時間的遮擋情境下，仍可生成高保真且具結構一致性的重建結果。程式碼已公開於 https://github.com/kevin30205/OcResMan。 |
| 英文摘要 | Rendering 3D human scenes from monocular video under severe occlusions remains highly challenging. We propose OcResMan, a tri-plane restoration framework that exploits the smooth, consistent features of visible regions to address discontinuities in occluded areas. OcResMan incorporates two key components: the Geometric Refinement Module (GRM), which corrects latent-space discontinuities to enhance structural coherence, and the Guided Supervision (GSV) strategy, which focuses learning on visible regions while flexibly handling unseen boundaries. Experiments on synthetic and real datasets show that OcResMan consistently outperforms state-of-the-art methods, producing high-fidelity and coherent reconstructions under severe and prolonged occlusions. Our code is available at https://github.com/kevin30205/OcResMan. |
| 發表成果與AI計畫研究主題相關性 | 本研究聚焦於人工智慧於3D人體場景重建與神經渲染（Neural Rendering）之應用，提出一個「可對於單眼相機所拍攝的受局部遮擋人物場景」的彈性化(rubust) 3D重建方法 OcResMan。由於受遮蔽區域的場警，通常會在潛在特徵域(latent feature space)中呈現高度的不連續性與不均勻性，因此本研究嘗試透過「先行修復tri-plane 的特徵域(feature space)中的特徵數值連續性」，來成功渲染重建出「原始影片的受遮擋區域」。相較於過去的受遮擋人物場景重建技術，本研究主要採取了 tri-plane 特徵修復策略，先緩解特徵域的布連續性後，再搭配幾何細化模組（GRM, Geometric Refinement Module）及引導式監督策略（GSV, Guided Supervision），進而提升渲染後重建結果的視覺品質與結構一致性。本論文技術涵蓋深度學習、電腦視覺、生成式AI及3D場景理解等核心人工智慧領域，可應用於智慧影像分析、3D人體場景重建與數位內容生成等場域，符合本校AI計畫下關於智慧運算與AI影像技術發展目標，也有助於提升本校於人工智慧與視覺計算領域之國際研究能量。 |
上架日期：2026/4/21
