机器感知2020

1. 课程信息

  • Location：二教2408
  • Time： Tuesday, 14:00-16:30
  • Teacher：Yongcai Wang
  • Office：Wing building of Science and Technology, 105A
  • Email：ycw@ruc.edu.cn

2. 评分标准

  • 平时作业，占总成绩的40%
  • 课程实验，占总成绩30%
  • 课程论文，占总成绩的30%。

3. 内容简介

本课程主要介绍视觉、惯性感知技术和多传感器融合的机器感知理论与方法，课程内容包括：
  • 贝叶斯滤波，
  • Kalman滤波算法，
  • 定位导航技术，
  • SLAM算法，
  • 图优化算法，
  • 惯性姿态解算，
  • 惯性导航方法，
  • 3D视觉，
  • 视觉里程计，
  • 视觉惯性里程计等。
使得学生了解机器感知的理论、技术基础与学术前沿，特别是通过对相关算法的实现，提高数据处理与智能系统的研发能力。 在每次讲授中，课程内容上将有所调整。

4. 教学安排

讲课内容 周次 学时 课件 参考资料
课程简介 1 1 0. Introduction
贝叶斯滤波理论 1 3 1. Bayesian Filter Probabilistic Robotics _Sebastian Thrun et al.
Kalman滤波，扩展Kalman滤波 2 3 2. Kalman Filter Probabilistic Robotics _Sebastian Thrun et al.
EKF Localization and EKF SLAM 3 3 3. EKF Localization, EKF-SLAM Simulataneous localization and mappingwith the extended Kalman filter‘A very quick guide... with Matlab code!’
Graph SLAM，Gaussian-Newton算法 4 3 4. GraphSLAM Course on SLAM A Tutorial on Graph-Based SLAM Notes on Least-Squares and SLAM Robust Optimizationfor Simultaneous Localization and Mapping
扫描匹配，SVD与ICP算法 5 3 5. Scan Matching Iterative Closest Point (ICP) and other registration algorithms Efficient variants of the ICP algorithm
3D 刚体运动与姿态变换 6 3 6. 3D Rigid State Transition 3D Rotation in the Space 四元数与三维旋转
惯性导航，零速检测，基于EKF的惯性导航 7 3 7. Inertial Navigation Zero-Velocity Detection—An Algorithm Evaluation PedestrianTracking withShoe-MountedInertial Sensors Pedestrian Localisation for Indoor Environments
3D视觉1：2D对极几何，8点法等 8 3 8. 3D vision 1 Maths in 3D computer vision Visual OdometryPart I: The First 30 Years and Fundamentals
3D视觉2: PnP, 光流，直接法 9 3 9. 3D vision 2 Visual OdometryPart II: Matching, Robustness, Optimization, and Applications
闭环检测、词袋模型、3D建图方法 10 3 10. loop closure and mapping loop closure part in SLAM book
视觉惯性融合里程计，松耦合，紧耦合的视觉里程计方法 11 3 11. visual inertial odemetry (VIO) VINS-Mono: A Robust and Versatile MonocularVisual-Inertial State Estimator, IEEE Trans. on Robotics, 2018 Keyframe-Based Visual-Inertial Odometry Using Nonlinear Optimization A Semantic Visual SLAM for Dynamic Environment Visual-Inertial Tightly Coupled Fusionand Nonlinear Optimization for UAVs Navigation An_Introduction_to_Inertial_and_Visual_Sensing

5. 参考书目

Sebastian Thrun， Probabilistic Robotics _Sebastian Thrun et al. Peter Corke，《 Robotics, Vision and Control》 高翔等，《 视觉SLAM十四讲》 Richard Szeliski，《 Computer Vision: Algorithms and Applications》,second Edition Giorgio Grisetti等， A Tutorial on Graph-Based SLAM Oliver J. Woodman， An introduction to inertial navigation

6. 课程实验

课程共包括五次实验 1. 设计并实现仿真程序，实现基于Bayes 滤波的移动机器人定位； 2. 根据所提供的数据集实现EKF 定位算法，实现对移动机器人的定位 3. 根据所提供的数据集，实现点云Scan Matching方法，并进行测试 4. 实践Eigen几何模块和Sophus的代码，实现空间3D姿态变换和惯性导航 5. 根据Kitti数据集中的图像，实现2D-2D对极几何，PnP, 光流法，直接法的视觉里程计方法  

7. 课程论文

1. 课程论文选题 lecture report topics 2. 课程论文报告打分表 Score Metrics