卷積神經(jīng)網(wǎng)絡(luò)（CNN）已在平面視覺任務(wù)上大顯身手，但遇見不規(guī)則曲面，其效果往往大打折扣。高通和阿姆斯特丹大學(xué)提出的“規(guī)范等變卷積神經(jīng)網(wǎng)絡(luò)”成功突破了平面的限制，將CNN的視覺能力提升了一個(gè)維度，讓AI站的更高，看得更遠(yuǎn)。戳右邊鏈接上 新智元小程序 了解更多！
現(xiàn)在，計(jì)算機(jī)可以駕駛汽車，在象棋和圍棋中擊敗世界冠軍，甚至撰寫散文。人工智能的革命很大程度上源于一種特殊類型的人工神經(jīng)網(wǎng)絡(luò)的力量，其設(shè)計(jì)靈感來自哺乳動(dòng)物視覺皮層中神經(jīng)元的連接層。事實(shí)證明，這些“卷積神經(jīng)網(wǎng)絡(luò)”（CNN）擅長(zhǎng)于學(xué)習(xí)二維數(shù)據(jù)中的模式，尤其是在計(jì)算機(jī)視覺任務(wù)中得到了廣泛應(yīng)用。
但是，如果將卷積神經(jīng)網(wǎng)絡(luò)用于沒有內(nèi)置平面幾何形狀的數(shù)據(jù)集（如3D計(jì)算機(jī)動(dòng)畫中使用的不規(guī)則形狀的模型，或者自動(dòng)駕駛汽車生成的點(diǎn)云來繪制周圍環(huán)境），這種強(qiáng)大的機(jī)器學(xué)習(xí)架構(gòu)的效果就要受到影響。2016年前后，出現(xiàn)了一種稱為幾何深度學(xué)習(xí)的新學(xué)科，其目標(biāo)是將CNN拓展到平面之外。
現(xiàn)在，研究人員提供了一個(gè)新的理論框架，可用于構(gòu)建可以學(xué)習(xí)任何幾何表面上的圖案的神經(jīng)網(wǎng)絡(luò)。由阿姆斯特丹大學(xué)和高通AI研究中心的Taco Cohen，Maurice Weiler，Berkay Kicanaoglu和Max Welling開發(fā)的“等規(guī)卷積神經(jīng)網(wǎng)絡(luò)”，不僅可以檢測(cè)2D像素陣列中的模式，而且還可以檢測(cè)在球體和不對(duì)稱彎曲的物體上的模式。Welling表示：“這個(gè)框架是對(duì)曲面上深度學(xué)習(xí)問題的絕對(duì)確定的答案。”
在模擬全球氣候數(shù)據(jù)的學(xué)習(xí)模式中，這種新架構(gòu)的性能已大大超過了其前輩。該算法還可能改善可視3D目標(biāo)的無人機(jī)和無人駕駛汽車的視覺效果，對(duì)于心臟、大腦或其他器官的不規(guī)則曲面上收集的數(shù)據(jù)，分析能力也能大為提升。
高通公司和阿姆斯特丹大學(xué)的機(jī)器學(xué)習(xí)研究員Taco Cohen是規(guī)范等變卷積神經(jīng)網(wǎng)絡(luò)的主要設(shè)計(jì)者之一。
研究人員要讓深度學(xué)習(xí)模型擺脫平面的束縛，也與物理學(xué)有著深厚的聯(lián)系。描述世界的物理理論，比如愛因斯坦的廣義相對(duì)論和粒子物理學(xué)的標(biāo)準(zhǔn)模型，都表現(xiàn)出一種稱為“規(guī)范等變”的性質(zhì)。這意味著世界上的量及其關(guān)系不依賴于任意的參照系。
無論觀察者是移動(dòng)還是靜止不動(dòng)，無論標(biāo)尺上的數(shù)字有什么不同，這些量和關(guān)系都是一致的。在不同的量度上進(jìn)行的測(cè)量要想進(jìn)行轉(zhuǎn)換，必須要能夠相互保留彼此之間這些不變的潛在關(guān)系。
舉個(gè)例子，測(cè)量一個(gè)足球場(chǎng)的長(zhǎng)度，首先以碼為單位，然后再以米為單位進(jìn)行測(cè)量，得到的數(shù)字是不同的，但這是一種可預(yù)測(cè)的不同。同樣，兩位攝影師從兩個(gè)不同的有利位置拍攝同一個(gè)對(duì)象的照片會(huì)產(chǎn)生不同的圖像，但是這些圖像可以彼此關(guān)聯(lián)。量表的等方差可確保物理學(xué)家的現(xiàn)實(shí)模型保持一致，無論他們的觀測(cè)點(diǎn)或測(cè)量單位如何變化。
紐約大學(xué)物理學(xué)家凱爾·克蘭默（Kyle Cranmer）說：“他們希望將這種思想其、引入神經(jīng)網(wǎng)絡(luò)，要將機(jī)器學(xué)習(xí)應(yīng)用于粒子物理學(xué)數(shù)據(jù)上，而且成功實(shí)現(xiàn)了。”
規(guī)范等變卷積神經(jīng)網(wǎng)絡(luò)：“逃離平面，看懂3D”
倫敦帝國(guó)理工學(xué)院的計(jì)算機(jī)科學(xué)家邁克爾·布朗斯坦（Michael Bronstein）在2015年提出“幾何深度學(xué)習(xí)”一詞，用以描述為神經(jīng)網(wǎng)絡(luò)擺脫平面束縛而進(jìn)行的新努力，并設(shè)計(jì)了可以學(xué)習(xí)非平面數(shù)據(jù)模式的神經(jīng)網(wǎng)絡(luò)。這個(gè)詞和相關(guān)研究工作很快流行起來。
Bronstein明白，要想超越歐幾里德平面，需要重新構(gòu)想一種基本的計(jì)算程序，該程序首先使神經(jīng)網(wǎng)絡(luò)能高效實(shí)現(xiàn)2D圖像識(shí)別。此過程稱為“卷積”，它使神經(jīng)網(wǎng)絡(luò)的一層對(duì)輸入數(shù)據(jù)一小批執(zhí)行數(shù)學(xué)運(yùn)算，然后將結(jié)果傳遞到網(wǎng)絡(luò)中的下一層。
“基本上可以將卷積視為滑動(dòng)的窗口，” Bronstein解釋說。卷積神經(jīng)網(wǎng)絡(luò)將許多這些“窗口”滑動(dòng)到數(shù)據(jù)上，例如過濾器，每一個(gè)都旨在檢測(cè)數(shù)據(jù)中的某種模式。如果是貓的照片，經(jīng)過訓(xùn)練的CNN可能會(huì)使用過濾器來檢測(cè)原始輸入像素中的低級(jí)特征，例如邊緣。
這些特征會(huì)傳遞到網(wǎng)絡(luò)中的其他層，執(zhí)行其他卷積，并提取更高層的特征，如眼睛，尾巴或三角形的耳朵。用于識(shí)別貓的CNN最終將使用這些分層卷積的結(jié)果，為整個(gè)圖像分配標(biāo)簽（“是貓”或“不是貓”）。
卷積神經(jīng)網(wǎng)絡(luò)是如何“看見”目標(biāo)的
但這種方法僅適用于平面。韋林說：“如果要分析的表面是彎曲的，那么基本上會(huì)遇到麻煩。”
在曲面上進(jìn)行卷積（在幾何學(xué)上稱為“流形”），就像在地球上拿著一小塊半透明的方格紙，然后試圖準(zhǔn)確地追蹤格陵蘭島的海岸線一樣困難。不可能在不使紙張起皺的情況下，將正方形按在格陵蘭島上，也就是說，當(dāng)再次把這張紙展平時(shí)，圖形將會(huì)出現(xiàn)變形。
如果流形不是球形的這樣的整齊球體，而是瓶子的形狀，或是折疊的蛋白質(zhì)等更復(fù)雜、更不規(guī)則的物體，則在這些目標(biāo)上進(jìn)行卷積操作會(huì)變得更加困難。
Bronstein等人在2015年找到了解決非歐流形上卷積問題的一種解決方案：將“滑動(dòng)窗口”重新想象成更像是圓形蜘蛛網(wǎng)狀，而不是一張方格紙，這樣就可以將其壓在地球上（或任何曲面上），而不會(huì)造成“窗口”的彎曲、拉伸或撕裂。
以這種方式更改“滑塊”過濾器的屬性，可以讓CNN能夠更好地“理解”某些幾何關(guān)系。比如可以自動(dòng)識(shí)別出彎成兩個(gè)不同姿勢(shì)的3D形狀（一個(gè)站直的人，和一個(gè)抬起一條腿的人）是同一類對(duì)象實(shí)例，而不是兩個(gè)完全不同的對(duì)象。這一變化讓神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率大大提高。Bronstein說，標(biāo)準(zhǔn)的CNN“需要花數(shù)周時(shí)間進(jìn)行訓(xùn)練，使用數(shù)百萬個(gè)形狀示例，我們以不同的姿勢(shì)使用了大約100種形狀，只需要大約半小時(shí)的訓(xùn)練。”
同時(shí)，塔科·科恩（Taco Cohen）等人開始從相反方向著手解決同一問題。2015年，當(dāng)時(shí)還在讀研究生的科恩尚未研究這個(gè)問題。當(dāng)時(shí)他對(duì)一個(gè)實(shí)際的工程問題很感興趣：提升數(shù)據(jù)效率，即如何用更少的示例來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
科恩說：“深度學(xué)習(xí)是一種非常緩慢的學(xué)習(xí)。”如果要訓(xùn)練CNN來識(shí)別貓，那么幾乎沒什么問題，因?yàn)榫W(wǎng)絡(luò)上有大量的貓的圖像數(shù)據(jù)。但是，如果想讓CNN檢測(cè)更重要的內(nèi)容，例如肺組織圖像中的癌性結(jié)節(jié)，那么找到足夠的訓(xùn)練數(shù)據(jù)（需要醫(yī)學(xué)上準(zhǔn)確、正確標(biāo)記，并且沒有隱私問題）并非易事。訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需的數(shù)據(jù)示例越少越好。
Cohen知道，提高神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)效率的一種方法是，預(yù)先為數(shù)據(jù)配備某些假設(shè)條件，例如告訴神經(jīng)網(wǎng)絡(luò)，即使肺腫瘤在圖像中出現(xiàn)旋轉(zhuǎn)或映射，它仍然是肺腫瘤。
2016年，Cohen和Welling合寫了一篇論文，定義了如何將其中的一些假設(shè)條件編碼為幾何對(duì)稱的神經(jīng)網(wǎng)絡(luò)。這種方法效果非常好，到2018年，Cohen和Marysia Winkels進(jìn)一步推廣了該方法，證明了在CT掃描中識(shí)別肺癌的可喜結(jié)果：他們構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型，僅使用之前模型十分之一訓(xùn)練數(shù)據(jù)，就能識(shí)別出肺癌的可視化證據(jù)。
在此基礎(chǔ)上，研究人員不斷推廣，找到了規(guī)范等變卷積神經(jīng)網(wǎng)絡(luò)。
從物理學(xué)到CNN：“等變”思想的擴(kuò)展
物理和機(jī)器學(xué)習(xí)具有基本的相似性。正如Cohen（Cohen）所說：“兩個(gè)領(lǐng)域都涉及進(jìn)行觀測(cè)，然后建立模型進(jìn)行預(yù)測(cè)。”并非單個(gè)事物的模型，而是整個(gè)品類的模型。例如，我們不會(huì)為頭朝上的氫原子建一個(gè)模型、頭朝下的氫原子再建一個(gè)。
等變（或“協(xié)變”，物理學(xué)家偏愛的術(shù)語(yǔ)）是自愛因斯坦以來，物理學(xué)家賴以推廣其模型的假設(shè)。
阿姆斯特丹大學(xué)的理論物理學(xué)家Miranda Cheng解釋說：“這只是意味著，如果你正確的描述了物理，那么它應(yīng)該不取決于你用的哪種‘尺子’、后者你觀察時(shí)候的視角。”
Cheng（上圖）和Cohen等撰寫了一篇論文，探討了物理學(xué)與規(guī)范等變CNN之間的聯(lián)系。
就像愛因斯坦本人在1916年所說的那樣：“自然的一般定律應(yīng)由對(duì)所有坐標(biāo)系都適用的方程式表示。”卷積網(wǎng)絡(luò)通過利用該原理的一個(gè)簡(jiǎn)單示例“平移等變”，成為深度學(xué)習(xí)中最成功的方法之一。一個(gè)窗口過濾器檢測(cè)圖像中特定特征（例如垂直邊緣），將滑動(dòng)（或“平移”）在像素平面上，并對(duì)所有這些垂直邊緣的位置進(jìn)行編碼；然后，它會(huì)創(chuàng)建一個(gè)標(biāo)記這些位置的“功能圖”，并將其傳遞到網(wǎng)絡(luò)的下一層。
由于平移等變，使得創(chuàng)建特征圖成為可能。神經(jīng)網(wǎng)絡(luò)“假定”同一特征可以出現(xiàn)在2D平面中的任何位置，并且能夠?qū)o論是在右上角還是在左下角的垂直邊緣，都識(shí)別為垂直邊緣。
Weiler說：“關(guān)于等變神經(jīng)網(wǎng)絡(luò)的觀點(diǎn)是[采用]這些明顯的對(duì)稱性并將它們放入網(wǎng)絡(luò)體系結(jié)構(gòu)中，有點(diǎn)像免費(fèi)午餐。”
到2018年，Weiler，Cohen及其博士導(dǎo)師Max Welling擴(kuò)大了“免費(fèi)午餐”的范圍，將其他等變包括在內(nèi)。他們的“集群等變” CNN可以檢測(cè)平面圖像中的旋轉(zhuǎn)或反射特征，而無需針對(duì)這些方向上的特征訓(xùn)練特定示例；球形CNN可以根據(jù)球體表面上的數(shù)據(jù)創(chuàng)建特征圖，而不會(huì)將其扭曲為平面投影。
這些方法仍然不夠通用，無法處理具有顛簸，不規(guī)則結(jié)構(gòu)的流形上的數(shù)據(jù)，該數(shù)據(jù)描述了從土豆到蛋白質(zhì)，到人體，到時(shí)空彎曲的幾乎所有物體的幾何形狀。
對(duì)于神經(jīng)網(wǎng)絡(luò)，這些類型的流形沒有“全局”對(duì)稱性來做出以下等變假設(shè)：它們上的每個(gè)位置都是不同的。
挑戰(zhàn)在于，將細(xì)分過濾器在表面上滑動(dòng)會(huì)改變過濾器的方向，具體取決于其采用的特定路徑。
想象一下設(shè)計(jì)用于檢測(cè)簡(jiǎn)單圖案的過濾器：深色斑點(diǎn)在左，淺色在右。在平面網(wǎng)格上下左右滑動(dòng)它，它將始終保持右邊朝上。但是，即使在球體的表面上，這種情況也會(huì)改變。
將濾鏡圍繞球面的赤道移動(dòng)180度，則濾鏡的方向?qū)⒈３植蛔儯荷钌唿c(diǎn)在左，淺色斑點(diǎn)在右。但如果通過球體的北極上方移過，濾鏡就反過來了，深右淺左。在更復(fù)雜的歧管上移動(dòng)過濾器，它最終可能指向許多雙重的方向。幸運(yùn)的是，自愛因斯坦以來的物理學(xué)家找到了解決方案：軌距等變。
Welling解釋說，關(guān)鍵是忘記跟蹤過濾器沿不同路徑移動(dòng)時(shí)方向如何變化。取而代之的是，只選擇一個(gè)過濾器方向（或gauge），然后定義一種將所有其他方向轉(zhuǎn)換為該方向的一致方法。
要注意的是，盡管可以在初始方向上使用任意量度，但將其他量度轉(zhuǎn)換為該參考系必須保留的基本模式。Weiler說，采用這種等量變方法，“實(shí)際數(shù)字發(fā)生了變化，但是它們以完全可預(yù)測(cè)的方式發(fā)生了變化。”
Cohen，Weiler和Welling在2019年將gauge-equivariant（最終的“免費(fèi)午餐”）編碼到了他們的卷積神經(jīng)網(wǎng)絡(luò)中。通過將數(shù)學(xué)約束納入神經(jīng)網(wǎng)絡(luò)可以通過卷積在數(shù)據(jù)中“看到”。
Welling說：“基本上，它可以提供任何表面”，從歐幾里德平面到任意彎曲的物體，包括諸如Klein瓶或四維時(shí)空的奇異流形，“這對(duì)在該表面上進(jìn)行深度學(xué)習(xí)非常有用。”
理論起源：來自愛因斯坦的啟示
規(guī)范等變CNN的起源理論非常廣泛，沿用了以前的幾何深度學(xué)習(xí)方法的內(nèi)在假設(shè)，如旋轉(zhuǎn)等變和球上的移位過濾器。即使是Michael Bronstein的早期方法，也可以讓神經(jīng)網(wǎng)絡(luò)識(shí)別彎曲成不同姿勢(shì)的單個(gè)3D形狀。“Gauge-equivariant是一個(gè)非常廣泛的框架。它包含了我們?cè)?015年所做的特定設(shè)置。” Bronstein說。
理論上，CNN計(jì)可在任何尺寸的任何曲面上工作，但Cohen及其合作者已在全球氣候數(shù)據(jù)上對(duì)其進(jìn)行了測(cè)試，該數(shù)據(jù)必定具有潛在的3D球形結(jié)構(gòu)。他們使用等量線框架構(gòu)造了一個(gè)CNN，該CNN經(jīng)過訓(xùn)練可以從氣候模擬數(shù)據(jù)中檢測(cè)出極端天氣模式，例如熱帶氣旋。
2017年，政府和學(xué)術(shù)研究人員使用標(biāo)準(zhǔn)卷積網(wǎng)絡(luò)以74％的準(zhǔn)確性檢測(cè)數(shù)據(jù)中的氣旋特征；去年，美國(guó)有線電視新聞網(wǎng)（CNN）探測(cè)到旋風(fēng)的準(zhǔn)確率達(dá)到97.9％。（優(yōu)于2018年專門為球體設(shè)計(jì)的不太通用的幾何深度學(xué)習(xí)方法，該系統(tǒng)的準(zhǔn)確度為94％。）Lawrence Berkeley National Laboratory的氣候科學(xué)家Mayur Mudigonda使用深度學(xué)習(xí)，表示將繼續(xù)關(guān)注測(cè)量CNN。
他說：“人類視覺智能的這一方面”（無論模式如何定向）都可以準(zhǔn)確地識(shí)別出來，“這就是我們想要轉(zhuǎn)化為氣候社區(qū)的東西。”
高通是一家芯片制造商，最近雇用了Cohen和Welling，并收購(gòu)了他們建立的一家初創(chuàng)公司，將其早期工作納入等變神經(jīng)網(wǎng)絡(luò)。現(xiàn)在，高通正計(jì)劃應(yīng)用規(guī)范CNN理論來開發(fā)改進(jìn)的計(jì)算機(jī)視覺應(yīng)用，例如可以直接“看到”360度全景的無人機(jī)，就像全球氣候數(shù)據(jù)一樣，可以將這個(gè)世界的魚眼圖自然地映射到球形表面上。
同時(shí)，規(guī)范的CNN在諸如Cranmer之類的物理學(xué)家中越來越受歡迎，他們計(jì)劃將其用于處理亞原子粒子相互作用的模擬數(shù)據(jù)。Cranmer說：“我們正在分析與強(qiáng)大的核力量有關(guān)的數(shù)據(jù)，試圖了解質(zhì)子內(nèi)部發(fā)生了什么。”他說，數(shù)據(jù)是四維的，“因此，對(duì)于具有這種規(guī)范等變的神經(jīng)網(wǎng)絡(luò)，這是一個(gè)完美的應(yīng)用實(shí)例。”
前物理學(xué)家Risi Kondor現(xiàn)在正在研究等變神經(jīng)網(wǎng)絡(luò)，他說，規(guī)范CNN的潛在科學(xué)應(yīng)用可能比其在AI中的應(yīng)用更為重要。
他說：“如果在YouTube上即使發(fā)現(xiàn)自己不太擅長(zhǎng)識(shí)別上下顛倒的貓，也許可以忍受。”但是對(duì)于物理學(xué)家來說，至關(guān)重要的是要確保神經(jīng)網(wǎng)絡(luò)不會(huì)因?yàn)槠涮囟ǖ姆较蚨e(cuò)誤地識(shí)別力場(chǎng)或粒子軌跡。Kondor說：“這不僅僅是方便的問題，而且必須尊重基本的對(duì)稱性。”
但是，盡管物理學(xué)家的數(shù)學(xué)方法啟發(fā)了人們對(duì)CNN的了解，物理學(xué)家可能會(huì)為它們找到很多用處，但Cohen指出，這些神經(jīng)網(wǎng)絡(luò)本身并不會(huì)發(fā)現(xiàn)任何新的物理學(xué)。
他說：“我們現(xiàn)在能夠設(shè)計(jì)處理非常奇特的數(shù)據(jù)的網(wǎng)絡(luò)，但必須知道該數(shù)據(jù)的結(jié)構(gòu)是什么。”換句話說，物理學(xué)家之所以可以使用規(guī)范的CNN是因?yàn)閻垡蛩固挂呀?jīng)證明時(shí)空可以表示為四維彎曲流形。
Cohen的神經(jīng)網(wǎng)絡(luò)將無法獨(dú)自“看到”該結(jié)構(gòu)。他說：“目前還沒開始做學(xué)習(xí)對(duì)稱性的事情，”盡管他希望將來有可能。
Cohen說：“我一直感覺機(jī)器學(xué)習(xí)和物理學(xué)正在做非常相似的事情。這是我發(fā)現(xiàn)真正不可思議的事情之一：我們只是從這個(gè)工程問題開始，并且隨著我們開始改進(jìn)，我們逐漸發(fā)現(xiàn)了越來越多的聯(lián)系。”
