三維計(jì)算視覺研究內(nèi)容包括：

1）三維匹配：兩幀或者多幀點(diǎn)云數(shù)據(jù)之間的匹配，因?yàn)榧す鈷呙韫馐芪矬w遮擋的原因，不可能通過一次掃描完成對整個(gè)物體的三維點(diǎn)云的獲取。因此需要從不同的位置和角度對物體進(jìn)行掃描。三維匹配的目的就是把相鄰掃描的點(diǎn)云數(shù)據(jù)拼接在一起。三維匹配重點(diǎn)關(guān)注匹配算法，常用的算法有最近點(diǎn)迭代算法 ICP和各種全局匹配算法。

2）多視圖三維重建：計(jì)算機(jī)視覺中多視圖一般利用圖像信息，考慮多視幾何的一些約束，射影幾何和多視圖幾何是視覺方法的基礎(chǔ)，在攝影測量中類似的存在共線方程。光束平差法是該類研究的核心技術(shù)。這里也將點(diǎn)云的多視匹配放在這里，比如人體的三維重建，點(diǎn)云的多視重建不再是簡單的逐幀的匹配，還需要考慮不同角度觀測產(chǎn)生誤差累積，因此存在一個(gè)針對三維模型進(jìn)行優(yōu)化或者平差的過程在里面。多視圖三維重建這里指的只是靜態(tài)建模，輸入是一系列的圖像或者點(diǎn)云集合?？梢灾皇褂脠D像，或者只使用點(diǎn)云，也可以兩者結(jié)合（深度圖像）實(shí)現(xiàn)，重建的結(jié)果通常是Mesh網(wǎng)格。

SFM（運(yùn)動恢復(fù)結(jié)構(gòu)） vs Visual SLAM[摘抄] SFM 和 Visual SLAM

Multi-View Stereo （MVS）多視圖立體視覺，研究圖像一致性，實(shí)現(xiàn)稠密重建。

3）3D SLAM

按照傳感器類型分類：可以分為基于激光的SLAM和基于視覺的SLAM。

基于激光的SLAM可以通過點(diǎn)云匹配（最近點(diǎn)迭代算法 ICP、正態(tài)分布變換方法 NDT）+位姿圖優(yōu)化（g2o、LUM、ELCH、Toro、SPA）來實(shí)現(xiàn)；實(shí)時(shí)激光3D SLAM算法 （LOAM，Blam，CartoGrapher等）；Kalman濾波方法。通常激光3D SLAM側(cè)重于定位，在高精度定位的基礎(chǔ)上可以產(chǎn)生3D點(diǎn)云，或者Octree Map。

基于視覺（單目、雙目、魚眼相機(jī)、深度相機(jī)）的SLAM，根據(jù)側(cè)重點(diǎn)的不同，有的側(cè)重于定位，有的側(cè)重于表面三維重建。不過都強(qiáng)調(diào)系統(tǒng)的實(shí)時(shí)性。

（1）側(cè)重于定位的VSLAM系統(tǒng)比如orbSLAM，lsdSLAM；VINS是IMU與視覺融合的不錯的開源項(xiàng)目。

（2）側(cè)重于表面三維重建SLAM強(qiáng)調(diào)構(gòu)建的表面最優(yōu)，或者說表面模型最優(yōu)，通常包含F(xiàn)usion融合過程在里面。通常SLAM是通過觀測形成閉環(huán)進(jìn)行整體平差實(shí)現(xiàn)，優(yōu)先保證位姿的精確；而VSLAM通過Fusion過程同時(shí)實(shí)現(xiàn)了對構(gòu)建的表面模型的整體優(yōu)化，保證表面模型最優(yōu)。最典型的例子是KinectFusion，Kinfu，BundleFusion，RatMap等等。

（4）目標(biāo)檢測與識別：無人駕駛汽車中基于激光數(shù)據(jù)檢測場景中的行人、汽車、自行車、道路（車道線，道路標(biāo)線，路邊線）以及道路設(shè)施（路燈）和道路附屬設(shè)施（行道樹等）。這部分工作也是高精度電子地圖的主要內(nèi)容。當(dāng)然高精度電子地圖需要考慮的內(nèi)容更多。同時(shí)室內(nèi)場景的目標(biāo)識別的研究內(nèi)容也很豐富，比如管線設(shè)施，消防設(shè)施等。

（5）形狀檢測與分類：點(diǎn)云技術(shù)在逆向工程中有很普遍的應(yīng)用。構(gòu)建大量的幾何模型之后，如何有效的管理，檢索是一個(gè)很困難的問題。需要對點(diǎn)云（Mesh）模型進(jìn)行特征描述，分類。根據(jù)模型的特征信息進(jìn)行模型的檢索。同時(shí)包括如何從場景中檢索某類特定的物體，這類方法關(guān)注的重點(diǎn)是模型。

（6）語義分類：獲取場景點(diǎn)云之后，如何有效的利用點(diǎn)云信息，如何理解點(diǎn)云場景的內(nèi)容，進(jìn)行點(diǎn)云的分類很有必要，需要為每個(gè)點(diǎn)云進(jìn)行Labeling?？梢苑譃榛邳c(diǎn)的分類方法和基于分割的分類方法。從方法上可以分為基于監(jiān)督分類的技術(shù)或者非監(jiān)督分類技術(shù)，深度學(xué)習(xí)也是一個(gè)很有希望應(yīng)用的技術(shù)。最近深度學(xué)習(xí)進(jìn)行點(diǎn)云場景理解的工作多起來了，比如PointNet，各種八叉樹的Net。

（7）雙目立體視覺與立體匹配ZNCC：立體視覺（也稱雙目視覺）主要研究的兩個(gè)相機(jī)的成像幾何問題，研究內(nèi)容主要包括：立體標(biāo)定（Stereo Calibration）、立體校正（Stereo Rectification）和立體匹配（Stereo Matching）。目前，立體標(biāo)定主要研究的已經(jīng)比較完善，而立體匹配是立體視覺最核心的研究問題。按照匹配點(diǎn)數(shù)目分類，立體匹配可分為稀疏立體匹配（sparse stereo matching）和密集立體匹配（dense stereo matching）。稀疏立體匹配由于匹配點(diǎn)數(shù)量稀少，一般很難達(dá)到高精度移動測量和環(huán)境感知的要求。因此，密集立體匹配是學(xué)術(shù)界和工業(yè)界的主要研究和應(yīng)用方向。

（8）自動造型（構(gòu)型），快速造型（構(gòu)型）技術(shù)。對模型進(jìn)行凸分割，模型剖分，以實(shí)現(xiàn)模型進(jìn)一步的編輯修改，派生出其他的模型。

（9）攝像測量技術(shù)，視頻測量

1、點(diǎn)云濾波方法（數(shù)據(jù)預(yù)處理）：

雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機(jī)采樣一致性濾波。

VoxelGrid

2、關(guān)鍵點(diǎn)

ISS3D、Harris3D、NARF，

SIFT3D、均勻采樣，曲率方法采樣

3、特征和特征描述

法線和曲率計(jì)算NormalEstimation、特征值分析Eigen-Analysis、EGI

PFH、FPFH、3D Shape Context、Spin Image

4、點(diǎn)云匹配

ICP、穩(wěn)健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP

NDT 3D、Multil-Layer NDT

FPCS、KFPCS、SAC-IA

Line Segment Matching、ICL

5、點(diǎn)云分割與語義分類

分割：區(qū)域生長、八叉樹區(qū)域生長、Ransac線面提取、NDT-RANSAC、全局優(yōu)化平面提取

K-Means、Normalize Cut（Context based）

3D Hough Transform(線、面提取)、連通分析、

分類：基于點(diǎn)的分類，基于分割的分類；監(jiān)督分類與非監(jiān)督分類

目前基于深度學(xué)習(xí)的點(diǎn)云語義分類比較熱：PointNet，OctNet之類的吧，需要多加關(guān)注。

6、SLAM圖優(yōu)化

Ceres（Google的最小二乘優(yōu)化庫，很強(qiáng)大），g2o、LUM、ELCH、Toro、SPA

SLAM方法：ICP、MBICP、IDC、likehood Field、CrossCorrelation、NDT

7、目標(biāo)識別、檢索

Hausdorff距離計(jì)算（人臉識別），Graph Matching

8、變化檢測

基于八叉樹的變化檢測

9. 三維重建

泊松重建、Delaunay triangulations

表面重建，人體重建，建筑物重建，樹木重建。

結(jié)構(gòu)化重建：不是簡單的構(gòu)建一個(gè)Mesh網(wǎng)格，而是為場景進(jìn)行分割，為場景結(jié)構(gòu)賦予語義信息。場景結(jié)構(gòu)有層次之分，在幾何層次就是點(diǎn)線面等幾何圖元。

實(shí)時(shí)重建：重建植被或者農(nóng)作物的4D（3D+時(shí)間）生長態(tài)勢；人體姿勢識別；表情識別；

10.點(diǎn)云數(shù)據(jù)管理

點(diǎn)云壓縮，點(diǎn)云索引（KD、Octree），點(diǎn)云LOD（金字塔），海量點(diǎn)云的渲染

責(zé)任編輯：彭菁