功能描述:
PointNet的缺點:
PointNet不捕獲由度量空間點引起的局部結構,限制了它識別細粒度圖案和泛化到復雜場景的能力。
利用度量空間距離,我們的網絡能夠通過增加上下文尺度來學習局部特征。
點集通常采用不同的密度進行采樣,這導致在統一密度下訓練的網絡的性能大大降低。
新的集合學習層來自適應地結合多個尺度的特征。
一,介紹:
PointNet++:分層方式處理在度量空間中采樣的一組點 。
通過基礎空間的距離度量將這組點分割成重疊的局部區域。
提取局部特征來捕獲來自小鄰域的精細幾何結構; 這些局部特征被進一步分組為更大的單元并被處理以產生更高級的特征。
重復這個過程直到我們獲得整個點集的特征。
需要解決的問題:
如何生成點集的劃分
如何通過局部特征學習抽象點集或局部特征。
這兩個問題是相關的:
點集的分割必須產生跨分區的共同結構,以便像卷積設置那樣共享局部特征學習者的權重。
PointNet++在嵌套的分割輸入集上遞歸的運用pointNet
每個分區:相鄰的球。每個分區包含質心位置和規模。質心通過最遠采樣點算法獲得(FPS)
感受野依賴輸入數據和度量。
二.問題描述:
X = (M; d) 是離散的度量空間,m是點,d是距離度量。m的密度不均勻,
三.方法:
可以看作增加了層次結構的pointNet,
復習pointnet:缺乏不同規模上捕捉局部上下文的能力。(采用分層特征學習框架)
分層架構:
New architecture builds a hierarchical grouping of points and progressively abstract larger and larger local regions along the hierarchy.
At each level, aset of points is processed and abstracted to produce a new set with fewer elements.
抽象層的三個關鍵層:
Sampling layer : selects a set of points from input points (確定局部區域的圖心)
Grouping layer : 分組層通過查找質心周圍的“鄰近”點來構建局部區域集。
PointNet layer :使用小型PointNet將局部區域模式編碼為特征向量
輸入:N * (d + c) 矩陣,d緯度坐標,c點特征緯度。
輸出:. It outputs an N0 × (d + C0) matrix of N0 subsampled points with d-dim coordinates and new C0-dim feature vectors summarizing local context
采樣層:迭代最遠點采樣(FPS)來選擇點x1,x2...的子集 ,(距離其余的子集在歐幾里得空間上距離最遠)
分組層:
輸入:大小為N(d + C)的點集和大小為NId的一組質心的坐標
輸出:groups of point sets of size N0 × K × (d + C),where each group corresponds to a local region and K is the number of points in the neighborhood of centroid points
使用方法:bell查詢(和cnn相比)
pointNet層:
輸入:N0 local regions of points with data size N0×K×(d+C)
輸出:輸出中的每個局部區域都由其質心和局部特征抽象出來,這些特征對質心的鄰域進行編碼。 Output data size is N0 × (d + C0)
將局部的點坐標進行轉化,通過使用相對坐標和點要素,我們可以捕捉到局部區域內的點對點關系 。
3.3 對不均勻采樣的魯棒特征學習:
we should look for larger scale patterns in greater vicinity.
density adaptive PointNet layers
聯系:highspeedlogic
QQ :1224848052
微信:HuangL1121
郵箱:1224848052@qq.com
網站:http://www.mat7lab.com/
網站:http://www.hslogic.com/
微信掃一掃:
|