已讀 3 分鐘

用 GAN 找回老照片的靈魂色彩

雖然黑白照片富含豐富的歷史資訊，但由於各種規格與畫質等因素而未被充分利用，同時，透過實驗證明，得知顏色、紋理和亮度等光譜特徵有助於提升影像分析，對土地監測的貢獻是眾所皆知的，如果能將黑白影像上色，將是一大貢獻！

傳統的作法

一直到 2010 年中期之間，主要是採用半自動的方式進行上色，最常見的方法有兩種 - 顏色轉移與顏色塗鴉。

顏色轉移是給目標照片一張參照彩色照片，接著由電腦去吸取相似的顏色素質如色彩、光線、質地，然後套用在要上色的黑白照片上。相對的，顏色塗鴉則是直接在目標照片上的各個區域以塗鴉的方式畫上顏色，電腦會判斷顏色的範圍與深淺變化，以進行上色。

data transfer example — 顏色轉移範例 (圖片來源 : https://chaphlagical.icu/DIP/index/colorize-sig02.pdf)

color scribble example — 顏色塗鴉範例 (圖片來源 : https://slideplayer.com/slide/5079546/)

然而，這兩種方法都需要人工操作的參與，像是顏色轉移需要提供參照影像，而顏色塗鴉需要手動畫出上色的位置，在處理具有大量資料的歷史航測照片上，便顯得不太合適。

使用深度學習的作法

幸運的是，深度學習技術的發展提供了解方。起初，有人提出使用卷積神經網路 (CNN) 的方法，目前的上色技術有一半以上也是使用 CNN 的技術，然而，這種方式主要傾向最小化誤差，反而導致得到飽和度不高甚至是模糊的結果，在有些情況下也不是我們想要的。

GAN

我們使用生成對抗網路 (GAN) 的方式進行自動上色，GAN 由兩項網路構成，分別是生成網路與辨別網路，藉由彼此相互對抗所產生出越來越接近目標的結果。此外，相較於先前需要提供大量訓練資料給 AI 以進行訓練，這項方式可以減少訓練資料量，同時能達到自動化的目的。

CIELAB

常見用來描述數位影像色彩的方式為 RGB，也就是以光的三原色紅色、綠色、藍色的分配數值來描述每個像素點的顏色，相對的代表我們需要預測三個數值，才能生成灰階影像的色彩，因此，我們使用國際照明委員會 (CIE) 提出的色彩空間 L*a*b* 來進行生成，它是一個 3D 的色彩模型，x 與 y 軸 (a*,b*) 代表色相，z 軸 (L*) 代表亮度，因為灰階照片本身已有亮度 (L*) 資訊，因此我們生成色彩只需要預測兩個數值即可，如此將能提升準確率。