功能描述:
PointNet的缺點:
PointNet不捕獲由度量空間點引起的局部結(jié)構(gòu),限制了它識別細(xì)粒度圖案和泛化到復(fù)雜場景的能力。
利用度量空間距離,我們的網(wǎng)絡(luò)能夠通過增加上下文尺度來學(xué)習(xí)局部特征。
點集通常采用不同的密度進(jìn)行采樣,這導(dǎo)致在統(tǒng)一密度下訓(xùn)練的網(wǎng)絡(luò)的性能大大降低。
新的集合學(xué)習(xí)層來自適應(yīng)地結(jié)合多個尺度的特征。
一,介紹:
PointNet++:分層方式處理在度量空間中采樣的一組點 。
通過基礎(chǔ)空間的距離度量將這組點分割成重疊的局部區(qū)域。
提取局部特征來捕獲來自小鄰域的精細(xì)幾何結(jié)構(gòu); 這些局部特征被進(jìn)一步分組為更大的單元并被處理以產(chǎn)生更高級的特征。
重復(fù)這個過程直到我們獲得整個點集的特征。
需要解決的問題:
如何生成點集的劃分
如何通過局部特征學(xué)習(xí)抽象點集或局部特征。
這兩個問題是相關(guān)的:
點集的分割必須產(chǎn)生跨分區(qū)的共同結(jié)構(gòu),以便像卷積設(shè)置那樣共享局部特征學(xué)習(xí)者的權(quán)重。
PointNet++在嵌套的分割輸入集上遞歸的運(yùn)用pointNet
每個分區(qū):相鄰的球。每個分區(qū)包含質(zhì)心位置和規(guī)模。質(zhì)心通過最遠(yuǎn)采樣點算法獲得(FPS)
感受野依賴輸入數(shù)據(jù)和度量。
二.問題描述:
X = (M; d) 是離散的度量空間,m是點,d是距離度量。m的密度不均勻,
三.方法:
可以看作增加了層次結(jié)構(gòu)的pointNet,
復(fù)習(xí)pointnet:缺乏不同規(guī)模上捕捉局部上下文的能力。(采用分層特征學(xué)習(xí)框架)
分層架構(gòu):
New architecture builds a hierarchical grouping of points and progressively abstract larger and larger local regions along the hierarchy.
At each level, aset of points is processed and abstracted to produce a new set with fewer elements.
抽象層的三個關(guān)鍵層:
Sampling layer : selects a set of points from input points (確定局部區(qū)域的圖心)
Grouping layer : 分組層通過查找質(zhì)心周圍的“鄰近”點來構(gòu)建局部區(qū)域集。
PointNet layer :使用小型PointNet將局部區(qū)域模式編碼為特征向量
輸入:N * (d + c) 矩陣,d緯度坐標(biāo),c點特征緯度。
輸出:. It outputs an N0 × (d + C0) matrix of N0 subsampled points with d-dim coordinates and new C0-dim feature vectors summarizing local context
采樣層:迭代最遠(yuǎn)點采樣(FPS)來選擇點x1,x2...的子集 ,(距離其余的子集在歐幾里得空間上距離最遠(yuǎn))
分組層:
輸入:大小為N(d + C)的點集和大小為NId的一組質(zhì)心的坐標(biāo)
輸出:groups of point sets of size N0 × K × (d + C),where each group corresponds to a local region and K is the number of points in the neighborhood of centroid points
使用方法:bell查詢(和cnn相比)
pointNet層:
輸入:N0 local regions of points with data size N0×K×(d+C)
輸出:輸出中的每個局部區(qū)域都由其質(zhì)心和局部特征抽象出來,這些特征對質(zhì)心的鄰域進(jìn)行編碼。 Output data size is N0 × (d + C0)
將局部的點坐標(biāo)進(jìn)行轉(zhuǎn)化,通過使用相對坐標(biāo)和點要素,我們可以捕捉到局部區(qū)域內(nèi)的點對點關(guān)系 。
3.3 對不均勻采樣的魯棒特征學(xué)習(xí):
we should look for larger scale patterns in greater vicinity.
density adaptive PointNet layers
聯(lián)系:highspeedlogic
QQ :1224848052
微信:HuangL1121
郵箱:1224848052@qq.com
網(wǎng)站:http://www.mat7lab.com/
網(wǎng)站:http://www.hslogic.com/
微信掃一掃:
|