Идея многоракурсной системы технического зрения для формирования 3D-моделей поверхности объекта в задачах разработки мобильных роботов

Багутдинов Равиль Анатольевич Аспирант Инженерной школы информационных технологий и робототехники, Ассистент Отделения автоматизации и робототехники, Программист Научно-образовательной лаборатории 3D-моделирования и промышленного дизайна, Национальный исследовательский Томский политехнический университет 634034, Россия, Томская область, г. Томск, ул. Советская, 84/3, оф. 216 Bagutdinov Ravil PhD student of the Engineering School of Information Technology and Robotics, Assistant of the Department of Automation and Robotics, Programmer of the Scientific and Educational Laboratory of 3D Modeling and Industrial Design, National Research Tomsk Polytechnic University 634034, Russia, Tomskaya oblast', g. Tomsk, ul. Sovetskaya, 84/3, of. 216 ravil_bagutdinov@yahoo.com Другие публикации этого автора

Система технического зрения (СТЗ) является основной частью информационно-измерительных систем, назначение которых формировать, выдавать информацию об объектах и процессах в окружающей среде для полноценного функционирования робота. Последним возможным этапом преобразования исходного сигнала является его измерение, т. е. количественная оценка его величины путем сравнения с некоторым эталоном и выражения этой величины в единицах, определяемых этим эталоном. Это общая для всех информационно-измерительных систем часть унифицирована и стандартизирована. Она состоит из двух приборов: электронного ядра системы (крейта) и интерфейсов, связующих его с датчиками, которых в общем случае может быть несколько ^[1]. Следующее звено — система связи, которая присутствует в информационно-измерительных системах, в которых требуется передавать информацию на такие большие расстояния и в таких условиях, когда для этого требуется специальная система такой передачи с преобразованием исходной информации в вид, необходимый для ее осуществления.

С развитием информационных технологий и робототехники актуальной задачей является переход от бинокулярных СТЗ к многоракурсным. В робототехнике это реализуется путем перемещения робота с СТЗ перпендикулярно направлению видения или такого же перемещения видеокамеры манипулятором. Для отдельных объектов — это осмотр их со всех сторон. В результате компьютерной обработки получаемой видеоинформации синтезируется объемная модель. Разумеется, это неизмеримо информативнее традиционных стереоизображений и позволяет осуществлять соответственно более качественное планирование и управление движением.

Поскольку внешняя среда трехмерная, сенсорное обеспечение систем управления в общем случае должно иметь возможность давать именно такую 3D информацию об этой среде и об отдельных объектах ^[2]. Существуют три основных способа получения информации о трехмерной сцене:

1. На основе двумерного образа по взаимному видимому расположению отдельных объектов дается оценка третьей координаты. Такие системы получили название 2,5-мерные (2,5D) или псевдотрехмерные.

2. Монокулярная СТЗ дополняется каким-либо дальномером, который определяет третью координату — дальность.

3. Стерео СТЗ, содержащая две видеокамеры, разнесенные на определенное расстояние (базу) в плоскости перпендикулярной третьей координате — дальности.

Первый способ оценки глубины сцены наиболее прост и основан на использовании следующих приемов:

— Оценка расстояния до предмета на основе знания его размеров.

— Использование при наложении изображения предметов друг на друга очевидного факта, что предмет, закрывающий другой предмет, находится ближе.

— Использование эффекта перспективы, заключающегося в визуальном сближении двух уходящих вдаль параллельных линий.

— Анализ световых эффектов теней, бликов, и т. п.

Второй указанный способ — это, по существу, комплексирование, когда третья координата определяется не СТЗ, а другой системой. Перейдем к рассмотрению другого способа - стереосистемы. Две видеокамеры, разнесенные на определенное расстояние — базу, позволяют сформировать общее трехмерное изображение видимой сцены. Количественная оценка дальности до отдельных объектов может быть определена как высота треугольника, образованного базой и направлениями от каждой камеры на этот объект. Для этого надо знать только угол между этими направлениями. Практически получил распространение также алгоритм оценки дальности непосредственно по величине расхождения (сдвига) изображений конкретного объекта на экранах двух видеокамер, которое называется диспарантностью ^[10]. Процесс формирования трехмерной сцены по стереопаре изображений включает два этапа. На первом этапе устанавливается соответствие между двумя изображениями одной и той же сцены. После чего вычисляются величины диспарантности, по которым определяется третья координата отдельных точек каждого видимого объекта, а, следовательно, и его форма. Установление указанного соответствия можно представить как процесс деформации совмещаемых изображений, как бы нанесенных на эластичные листы, до их совпадения ^[3]. Эта операция формализована с помощью ряда алгоритмов — пирамидальный, псевдоградиентный и др. Идея пирамидального алгоритма состоит в том, что пара сопоставляемых изображений посредством указанного деформирования последовательно совмещается сначала центрами яркости изображений, затем центрами яркости отдельных частей, начиная с четырех прямоугольников, на которые разбиваются изображения, и далее вплоть до совмещения отдельных пикселей. Рассмотрим процедуру поиска соответствующих точек на двух изображениях, основанную на построении так называемых эпиполярных линий. Эпиполярная линия — это линия пересечения плоскости изображения плоскостью проведенной через луч зрения одной камеры и оптический центр другой камеры. На рисунке 1 приведена соответствующая схема.

Рисунок 1. Метод построения эпиполярных линий

(1,2 - видеокамеры, Q1,Q2 - их оптические оси)

Допустим, что видеокамеры откалиброваны, т. е. имеется таблица, в которой каждой пиксельной координате точки (x, y) поставлена в соответствие пара угловых координат — азимут ϕ и наклон θ, задающие направление (А) на данную точку из оптического центра камеры. Считаем также, что известно взаимное положение двух камер, заданное базой R, связывающей оптические центры двух камер, и матрицей углов поворота одной камеры относительно другой. Возьмем на изображении, полученном с первой камеры, некоторую точку с координатами (x1, y1). Этой точке на изображении с камеры 1 соответствуют два угла ( ϕ, θ), задающих луч А к данной точке. Зная взаимное положение двух камер чисто геометрически можно построить этот луч на изображении с камеры 2 — эпиполярную линию. После чего для каждой точки этой линии на изображении с камеры 2 можно проделать аналогичную операцию по отношению к камере 1 и построить свою эпиполярную линию, соответствующую эпиполярной линии на второй камере. С помощью эпиполярных линий осуществляется нахождение точек на изображении с одной камеры, соответствующих точкам.

Принципиально новый подход в развитии стереосистем дает идея многоракурсной системы, заключающаяся в увеличении количества “точек зрения” (ракурсов) ^[11]. Помимо более высокого качества получения трехмерного изображения внешней среды многоракурсная СТЗ позволяет получать виртуальные объемные изображения ее отдельных объектов. Существует два основных способа формирования объемного изображения, основанных на этом принципе. Первый способ — это использование нескольких видеокамер, второй — использование мобильного робота или манипулятора с одной видеокамерой. Рассмотрим принцип действия многоракурсных СТЗ на примере применительно ко второму варианту. Робот, обходя объект, делает его снимки с разных ракурсов. Затем на основе полученных кадров синтезируется 3D модель этого объекта. На рисунке 2 представлена схема такой системы, соответствующая трем дискретным положениям робота.

Рисунок 2. Формирование 3D-моделей поверхности объекта в СТЗ на мобильном роботе

Задача СТЗ сводиться к определению расстояния от камеры до некоторых характерных точек в абсолютной системе координат, связанной с неподвижной точкой, например, с первоначальным положением камеры. Эта задача решается в следующем порядке:

— идентификация точек на поверхности объекта, т. е. установление соответствия между точками, зафиксированными с разных ракурсов;

— вычисление дальности до этих точек.

На основе полученных значений дальности для выбранных точек осуществляется стандартными средствами (например, OpenGL, DirectX) построение 3D изображения объекта ^[4]. Полученная трехмерная компьютерная модель объекта передается оператору на дисплей компьютера в наиболее удобной форме, в том числе с возможностями вращения объекта, построения проекций и др. На рисунке 3 приведен алгоритм вычисления дальности до характерных точек поверхности объекта и последующего построения 3D модели этого объекта. Известно, что для повышения точности определения дальности необходимо увеличивать базу, а для повышения точности решения задачи идентификации точки на нескольких изображениях желательно расстояние между очередными точками съема визуальной информации уменьшать. В рассматриваемой монокулярной СТЗ необходимо, следовательно, выбирать оптимальное расстояние между соседними позициями робота (ракурсами), на которых СТЗ осуществляет съемку кадров в соответствии с требуемой погрешностью. Значение величины базы R определяется по известной зависимости погрешности определения дальности от величины базы. Перед вычислением дальности решается задача идентификации точки на двух изображениях. Для обеспечения требуемой точности ее решения вычисленное значение базы R разбивается на n равных частей, так чтобы при каждом смещении камеры на расстояние R/n задача идентификации решалась с требуемой точностью.

Рисунок 3. Алгоритм определения дальности до точек на поверхности объекта в СТЗ на мобильном роботе

После выполнения n последовательных съемов изображения и решения на каждом шаге задачи идентификации характерных точек исходного изображения на последнем n-ом шаге определяется расстояние до этих характерных точек описанными выше методами.

Наряду с рассмотренными выше способами для получения трехмерной общей картины внешней среды, идея многоракурсной системы технического зрения может использоваться для получения объемных 3D-изображений отдельных объектов или комплекса проекций. В работе автором помимо способов формирования 3D-моделей, рассматривается метод построения эпиполярных линий и алгоритм определения дальности до точек на поверхности объекта в СТЗ на мобильном роботе. Результаты исследования могут быть применимы в системах модернизации управления, мониторинга и обработки информации, обеспечения более точного технического зрения при разработке мобильных и автономных роботов, что в свою очередь может повлиять на импортозамещение и общую экономическую составляющую использования и разработки робототехнических комплексов и систем.