Skip to main content
SUPERVISOR
مهدی کشمیری (استاد راهنما) حمیدرضا دخت تقی راد (استاد راهنما)
 
STUDENT
Morteza Badali
مرتضی بدلی

FACULTY - DEPARTMENT

دانشکده مهندسی مکانیک
DEGREE
Master of Science (MSc)
YEAR
1391

TITLE

Development and Real-Time Implementation of Vision based Incremental Smoothing and Mapping (iSAM) Algorithm for a Mobile Robot
A real-time system for three dimensional simultaneous localization and mapping (SLAM) in mobile robots based on visual data of camera using incremental smoothing and mapping algorithm, the state-of-the-art solution of SLAM problem - iSAM2, is developed and implemented in this thesis. Building 3D maps of environments is an important and essential task for mobile robots in navigation and manipulation. An autonomous mobile robot in unknown environment is exposed to considerable uncertainties and faced three main problems; localization, mapping and motion planning, which in many cases should be solved simultaneously. SLAM involves finding a proper description of the environment as a map and exploring the robot position on it. SLAM problems is in fact categorized as a probabilistic robotic problems which deal with uncertainties in robot perception and manipulation and solves the robot localization and mapping. The key idea in these set of problems is to represent uncertainties using probability theory. There has been different solutions to SLAM problem which can be classified in three main methods: the Kalman filter and its family, the particle filters and the graphical SLAM solution. One of the newest graphical based solutions is iSAM which is based on fast incremental matrix factorization. Updating a QR factorization of the sparse smoothing information matrix, iSAM provides an exact solution. In this method only the matrix entries that actually affects the computation are considered. This is efficient for trajectories with many loops. In order to build a 3D map of an environment, despite the iSAM algorithm, 3D data of the environment is needed. The RGB-D camera is used to capture RGB images along with per-pixel depth information. From the concepts in computer vision, by extracting features from consecutive frames and their matching, the movement of the features is extracted. Using the computer vision concepts and consequently integrating the RGB-D data and the iSAM method, the 3D map of environment is built. In autonomous navigation tasks, a robot can plan collision-free paths only for those areas that have been covered by sensor measurements and detected. However, the unmapped areas have to be avoided and should be included in the map somehow. Furthermore, the knowledge about unmapped areas is essential during exploration. As maps are created autonomously, the robot proceed the measurements in the previously unmapped areas. To represent the map in 3D, a volumetric representation of space named octomap is used. This mapping approach is based on octrees and uses probabilistic occupancy estimation which not only represents occupied space, but also free and unknown areas. Through this representation the map can be updated efficiently and the memory equipment can be kept at a minimum. The developed system is implemented on Experia, a mobile robot platform in Advanced Robotics and Mechatronics Laboratory (ARMLab) of the mechanical department of the Isfahan University of Technology, by using Microsoft Kinect Xbox 360 as the RGB-D camera. Moreover, by the fusion of the Kinect and IMU data, the orientation of the robot in roll and pitch angels are enhanced. Through this fusion, the robot localize itself better and consequently, the output 3D map of the system is improved. Keywords: Autonomous Mobile Robot, Simultaneous Localization and Mapping, Least Square Problem, Incremental Smoothing and Mapping, iSAM2 Algorithm, Octomap, 3D Mapping
: موضوع این پایان نامه ارائه یک سامانه به هنگام تهیه نقشه سه بعدی بر مبنای داده های تصویر تولید شده توسط حسگر دوربین و مکان یابی همزمان در ربات سیار خودمختار می باشد. در این راستا جدیدترین روش حل مسئله SLAM تحت عنوان iSAM مورد استفاده قرار گرفته است. در این روش ساختار جدیدی به نام درخت بیز معرفی شده است که این ساختار همان درخت دسته ای یا درخت اتصال در هوش مصنوعی است که قبلا برای استنتاج توزیع شده در SLAM بررسی شده است. بدین منظور ابتدا به بیان یک سری مقدمات در رابطه با ربات های متحرک و کاربردهای آن ها می پردازیم. سپس مفاهیم رباتیک احتمالی تشریح می شوند. این مفاهیم شالوده کار در حل مسئله SLAM را تشکیل می دهند. در واقع مسئله مکان یابی و تهیه نقشه همزمان در یک قالب احتمالی با تعریف متغیرهای تصادفی بیان می شود و سپس با تعریف توابع توزیع احتمال بر روی مسئله به بسط این توابع به زمان های بعدی پرداخته می شود. در ادامه به تشریح انواع روش های فیلتری حل مسئله SLAM پرداخته می شود و به طور جامع مزایا و معایب آن ها ارائه می شود. سپس مفاهیم اولیه مربوط به بیان مسئله SLAM بر اساس گراف و مسئله کمترین مربعات در حل آن و همچنین مفاهیم جدیدترین روش حل مسئله SLAM یعنی iSAM تشریح می شوند. در ادامه از آن جا که در این پایان نامه در صدد پیاده سازی این روش با استفاده از داده های تصویری هستیم، در فصلی جداگانه به مسئله بینایی کامپیوتر پرداخته شده است و در آن نحوه استخراج اطلاعات مفید از تصویر به گونه ای که بتوان در حل مسئله SLAM از آن استفاده کرد تشریح شده است. پس از استخراج این ویژگی های محیطی، با جفت کردن آن ها جابه جایی آن ها در تصویرهای متوالی و در نتیجه موقعیت آن ها تعیین می شود. بر مبنای این مقدمات، به پیاده سازی عملی روش iSAM با استفاده از داده های تصویری پرداخته شده است. سامانه ارائه شده دارای سه بخش استخراج و ردیابی ویژگی ها، مسافت سنجی دیداری و تصحیح خطا که به صورت همزمان اجرا می شوند، می باشد. این پیاده سازی در محیط نرم افزاری ROS و بر اساس داده های حسگر RGB-D Kinect بر روی ربات Experia ساخته شده در آزمایشگاه رباتیک و مکاترونیک پیشرفته دانشکده مهندسی مکانیک دانشگاه صنعتی اصفهان انجام شده است. در نتیجه این پیاده سازی نقشه سه بعدی از مکان راهروی طبقه پنجم دانشکده مهندسی شیمی دانشگاه صنعتی اصفهان تولید شده است. سپس با ترکیب اطلاعات دوربین کینکت و حسگر IMU جهت گیری ربات در زوایای غلتش و پیچش بهبود داده شده است. در محیط موانع و شیب های مختلف قرار داده شد تا به یک محیط داخلی شلوغ تبدیل شود. نماهای مختلف از نقشه تولیدی ارائه شدند که نتایج به دست آمده از پیاده سازی نشان از دقت خوب سامانه در تهیه نقشه سه بعدی می دهند. سامانه مورد نظر در تعیین زوایای غلتش و پیچش دچار خطای قابل ملاحظه ای است که در بخش نوآوری به اصلاح و بهبود این زوایا از طریق ترکیب اطلاعات کینکت و IMU پرداخته شده است. نتایج به دست آمده از نوآوری ایجاد شده در ترکیب اطلاعات نشان از بهبود بسیار خوب سامانه در تعیین زوایای مذکور و نقشه تولیدی از محیط می دهند.در انتها هم در یک جمع بندی و نتیجه گیری پیشنهاداتی برای ادامه کار ارائه شده است. کلمات کلیدی: ربات متحرک خودمختار، تهیه نقشه و مکان یابی همزمان، مسئله کمترین مربعات، هموارسازی و نقشه یابی افزایشی، الگوریتم iSAM2، نقشه سه بعدی

ارتقاء امنیت وب با وف بومی