2023-08-21
【學術亮點】基於影像變形的感知對比生成對抗網路用於無監督影像轉譯
字體大小
小
中
大
AI core Technology: Big Data Platform in Agriculture and Data Governance【Institute of Data Science and Information Computing / Hung-Hsu Tsai / Professor】
核心技術：農業大數據共享服務平台及資料治理【資料科學與資訊計算研究所蔡鴻旭教授】
上架日期2023-07-22
核心技術：農業大數據共享服務平台及資料治理【資料科學與資訊計算研究所蔡鴻旭教授】
| 論文篇名 | 英文：Perceptual Contrastive Generative Adversarial Network based on image warping for unsupervised image-to-image translation 中文：基於影像變形的感知對比生成對抗網路用於無監督影像轉譯 |
| 期刊名稱 | Neural Networks |
| 發表年份, 卷數, 起迄頁數 | 2023, 166, 313-325 |
| 作者 | Lin-Chieh Huang, Hung-Hsu Tsai(蔡鴻旭)* |
| DOI | 10.1016/j.neunet.2023.07.010 |
| 中文摘要 | 本文提出了一種無監督的影像對影像（UI2I）轉換模型，稱為感知對比生成對抗網絡（PCGAN），該模型可以減少失真問題，以提高傳統UI2I方法效能。PCGAN設計為一個兩階段的UI2I模型。在PCGAN的第一階段中，它利用一種新的影像變形方法來轉換輸入（源）影像中物體的形狀。在PCGAN的第二階段中，通過對PCGAN的第一階段輸出的細化中進行殘差預測。為了提升影像變形的性能，PCGAN中開發了一種稱為感知分區信息最大化（Perceptual Patch-Wise InfoNCE）的損失函數，用於有效地記錄扭曲影像與細化影像之間的視覺對應關係。對於UI2I基準的定量評估和可視化比較的實驗結果表明，PCGAN優於本文考慮的其他現有方法。 |
| 英文摘要 | This paper proposes an unsupervised image-to-image (UI2I) translation model, called Perceptual Contrastive Generative Adversarial Network (PCGAN), which can mitigate the distortion problem to enhance performance of the traditional UI2I methods. The PCGAN is designed with a two-stage UI2I model. In the first stage of the PCGAN, it leverages a novel image warping to transform shapes of objects in input (source) images. In the second stage of the PCGAN, the residual prediction is devised in refinements of the outputs of the first stage of the PCGAN. To promote performance of the image warping, a loss function, called Perceptual Patch-Wise InfoNCE, is developed in the PCGAN to effectively memorize the visual correspondences between warped images and refined images. Experimental results on quantitative evaluation and visualization comparison for UI2I benchmarks show that the PCGAN is superior to other existing methods considered here. |
| 發表成果與AI計畫研究主題相關性 | 影像生成技術減少失真問題，以提高傳統UI2I方法的效能，發展生成技術可應用於農業影像生成，例如：樹葉蟲病影像的生成等等，可解決資料集不平衡、資料較少、無法訓練深度學習模型問題。 |
