تحسين إعادة البناء ثلاثية الأبعاد الكثيفة باستخدام معلومات التغاير من طريقة SLAM وحيدة الكاميرا

Abstract

تحسين إعادة البناء ثلاثية الأبعاد الكثيفة باستخدام معلومات التغاير من طريقة SLAM وحيدة الكاميرا

إياد حاتم

ياسين يوسف

تعد إعادة البناء ثلاثية الأبعاد الكثيفة من الصور إحدى المهام متعددة المراحل والبطيئة في رؤية الحاسب ولكنها مهمة نظراً لطبيعة البيانات التي تقدمها حول الشكل الفراغي للأجسام. وإذا كانت هذه الأجسام في مواضع يصعب الوصول لها، يمكن استعمال روبوت متحكم به عن بعد للقيام بالمهمة.

في هذا البحث تم وضع طريقة لحل المسألة السابقة، باستعمال كاميرا وحيدة على روبوت، للقيام أولاً برسم البيئة والمسار بالتزامن بتطبيق مقاربة مرشح كالمان الموسع. ثم استخدام البيانات الناتجة لبناء أنموذج ثلاثي الأبعاد للجسم موضع الاهتمام. الهدف هنا هو الحصول على دقة أكبر بالاستعانة ببيانات التغاير المرافقة لمواضع الكاميرات التي يقدمها المرشح لتحسين عملية اختيار الصور لبناء الأنموذج ثلاثي الأبعاد. بالنهاية يتم إنشاء غيمة نقطية كثيفة للأنموذج بعد عملية تعديل حزم مشتت Sparse Bundle Adjustment.

تم إجراء عدة تجارب من خلال المحاكاة للمقارنة بين الأداء مع وبدون إدخال التغاير لمرحلة اختيار الصور، وكذلك لمرحلة عملية تعديل الحزم المشتت SBA، ومن ثم مناقشة النتائج.

خَلُص البحث إلى أن اختيار الصور مع أخذ التغاير بعين الاعتبار يعطي دقة أفضل مما هو عليه بدون أخذه. أما إضافة التغاير لتقديرات المساقط في عملية SBA فلم تعطي دقة إضافية في التجارب.

Dense 3D-reconstruction from images is considered a multi-stage and slow process in computer vision. However, it is also important because of the data nature that it gives about the 3D shape of the different objects. If these objects are in places hard to reach by humans, then a remote-controlled robot may be used to do the job.

In this paper, a method to solve the previous problem is presented. The method depends on a camera mounted on a robot and a velocity sensor attached to that robot. The robot has to map the environment and localize itself within it simultaneously, using the Extended Kalman Filter approach. The output data is used to build a 3D model, for the object of interest. The goal here is to increase the accuracy using the covariance data of the estimated camera poses. This helps in choosing a subset of the images for the 3D-reconstruction. Lastly, a dense point cloud is formed after a bundle adjustment process.

Many experiments were done using simulation to compare the performance with and without considering covariance in the image selection phase then in the Sparse Bundle Adjustment (SBA) phase. At the end, the results were discussed.

This paper concludes that selecting the images with consideration of the covariance gives better accuracy than ignoring it. While considering the computed 2D-projections covariance in SBA cost equation did not show any increase in the overall accuracy.