2024-03-26
【學術亮點-頂級會議論文】基於標籤依賴性和特徵相似性間動態關係的細粒度屬性預標記方法
Font Size
Small
Middle
Large
AI core Technology: Big Data Platform in Agriculture and Data Governance【Institute of Data Science and Information Computing / Hao-Chiang Shao / Assistant Professor】
核心技術：農業大數據共享服務平台及資料治理【資料科學與資訊計算研究所邵皓強助理教授】
上架日期2024-03-26
核心技術：農業大數據共享服務平台及資料治理【資料科學與資訊計算研究所邵皓強助理教授】
| 論文篇名 | 英文：A Fine-Grained Attribute Pre-labeling Method based on Label Dependency and Feature Similarity Dynamics 中文：基於標籤依賴性和特徵相似性間動態關係的細粒度屬性預標記方法 |
| 期刊名稱 | Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing 2024 (指標清單期刊) |
| 發表年份, 卷數, 起迄頁數 | 2024, pp.8175-8179 |
| 作者 | Hao-Chiang Shao(邵皓強)*, Yu-Hsien Lin, Chia-Wen Lin |
| DOI | 10.1109/ICASSP48485.2024.10446414 |
| 中文摘要 | 在本論文中，我們提出了一種基於多標籤恢復技術的細粒度屬性預標記方法。對於任意細粒度屬性影像資料集來說，可能會因人工標記時的疏忽而造成其中的影像細粒度屬性標籤的缺漏，並因此造成機器學習模型不易從此資料集中學習到資料特性。為了解決這個問題，我們提出了一個「可以透過學習已知屬性之間的相似性、和影像深度特徵間的相似性，來預測這些遺失缺漏的屬性標籤」的演算法。此外，為了防止我們所設計的「標籤依賴矩陣」在訓練過程中收斂成一個簡單解，我們設計了一個矩陣跡損失(trace loss)來避免「標籤依賴矩陣」因矩陣對角線值過大所造成的自我相關性。根據我們CUB-200-2011資料集所進行的實驗，即使在訓練集中隨機遺失了40%的屬性標籤，我們的方法仍可在盲測試集上達到了mAP=30.7細粒度屬性預標記效能，並且能對訓練集資料中的遺失屬性達到89%正確率的更正成果。簡言之，我們的方法能有效並強韌地執行細粒度屬性的預標記任務。 |
| 英文摘要 | In this paper, we proposed a fine-grained attribute prelabeling method based on the multi-label recovery techniques. Given a fine-grained image dataset with overlooked attributes in its annotation vectors, our method can predict those missing attribute labels by learning the between-label dependency based on the estimated similarity between known attributes and the similarity of extracted deep image features. Furthermore, to prevent the learnable label dependency matrix from converging to a trivial solution, we designed a trace-loss to penalize the self-dependency of attributes. Comprehensive experiments on the CUB-200-2011 dataset show that, given a training set with 40% of attribute labels randomly dropped: i) our approach achieves a pre-labeling performance with an mAP value of 30.7 on a blind testing set, and ii) the missing attributes in the training set can be corrected with an accuracy of 89%. Our method can effectively and robustly perform the fine-grained pre-labeling task. |
| 發表成果與AI計畫研究主題相關性 | 此論文的重點在於當給定一批具有細粒度屬性(細節屬性，fine-grained attributes)的影像資料、且每一張影像資料中僅有部分的細節屬性被正確標記時(partial label, missing label)，以透過深度網路、圖分析、向量空間分析等理論計算方式，學習到影像與屬性特徵的特性與關聯性，並用以預估所資料的遺失屬性標籤。 此論文技術可視為，「針對真實世界資料，如吻仔魚影像、半導體產業的晶圓晶背瑕疵分布圖影像等，建立以細粒度屬性分類辨識為輔助基礎之影像分類辨識技術」時，所必須要建立的「先導技術」。利用此技術，我們可以有效率地透過這個弱監督式的學習演算法，在僅對資料集中每一張影像給定少量細粒度屬性標籤的前提下，讓演算法學到屬性標籤與影像特徵之間的關聯性，並藉此完成整個資料集內全影像的細粒度屬性預標記工作。藉此如吻仔魚魚種外觀特徵自動化標記，或半導體晶圓晶背瑕疵分布圖瑕疵屬性自動化評估等任務。本篇論文，預計將於兩年內加以改進後，延伸為期刊論文。 |
