Рассматривается проблема построения формального языка описания изображений в задачах машинной обработки визуальной информации. В качестве основных требований к этому языку выдвигается его близость к языку, которым пользуется человек при работе с изображениями. Формируется и экспериментально обосновывается гипотеза, согласно которой основные элементы языка описания – локальные геометрические особенности изображения – выделяются с помощью специальной поисковой функции, заданной на изображении. На основе этой гипотезы строится ряд конструктивных моделей зрительного восприятия человека, а также система алгоритмов автоматического формирования языка описания изображений.
Оптимизация связи человека и машины требует детального изучения разных сторон процесса восприятия зрительной информации.
Процессы анализа изображений зрительной системой человека тесным образом связаны с движением глаз при осмотре.
При анализе движений глаз в процессе осмотра изображения можно выделить следующие параметры: расположение точек фиксации, параметры, характеризующие последовательность осмотра, длительность фиксаций.
Расположение точек фиксации взора (или внимания) существенным образом определяется геометрической структурой анализируемого изображения, причём существует представление, что точки фиксации концентрируются на участках изображения, которые можно было бы назвать локальными геометрическими особенностями.
Основными требованиями к функции информативности является то, что выделяемые с её помощью характерные фрагменты должны соответствовать геометрическим особенностям изображения.
Поскольку в описании целого изображения характерные фрагменты, являющиеся его частями, выступают самостоятельно, как отдельные изображения, форма которых подлежит узнаванию или классификации, возникает дополнительное требование к выбору функции информативности. Оно заключается в том, что сходные по форме характерные фрагменты должны быть расположены в окошке приблизительно одинаково, независимо от того, на каких местах изображения они выделяются. То есть выделяемые фрагменты должны быть центрированы относительно окошка.
Гипотеза:
В процессе осмотра контурных изображений скопления точек фиксации располагаются в локальных экстремумах функции информативности. Эти скопления в совокупности составляют основную массу точек фиксации.
Следствия гипотезы:
1) на отрезке линии скопления точек фиксации должны располагаться со сдвигом относительно концевых точек внутри отрезка;
2) на угле скопление точек фиксации должно быть сдвинутым относительно вершины внутрь фигуры;
3) чем больше угол, тем меньшим должен быть сдвиг скопления точек фиксации относительно вершины.
В процессе обработки изображений человек часто сталкивается с задачами зрительной оценки геометрических параметров, таких как расстояние между объектами, площади и пропорции фигур, кривизны и наклоны линий, величины углов.
Эти задачи требуют выполнения различных операций анализа изображения, в частности выделения и анализа формы локальных фрагментов. От особенностей выполнения этих операций так или иначе зависит точность оценки.
Оценка расстояния между двумя точками фактически осуществляется по расстоянию между экстремумами функций информативности, соответствующих этим точкам.
В зависимости от формы участков изображения, являющихся окрестностями точек, между которыми нужно измерить расстояния, экстремумы функции информативности могут совпадать или не совпадать с этими точками. Если совпадения нет, то в результат измерения будет внесена систематическая ошибка, зависящая от направления и величины сдвига экстремумов функции информативности относительно заданных точек. В связи с этим характер ошибок в оценке расстояния при решении той или иной конкретной зрительной задачи может быть предсказан заранее из рассмотрения расположения экстремумов функции информативности конкретного изображения.
При зрительной оценке величины угла могут наблюдаться скачки, направленные по биссектрисе угла и величина этих скачков должна уменьшаться при увеличении угла.
Часто те или иные особенности структуры изображения (в частности форма локальных фрагментов) обуславливают появление систематических ошибок в оценке геометрических параметров.
Наиболее ярко они проявляются в так называемых геометрических иллюзиях.
Исследование процесса оценки геометрических параметров и систематических ошибок, возникающих при этом, имеет не только научный, но и практический интерес.
Знание механизмов оценки существенно для анализа погрешностей при снятии показаний с различного рода приборов, при художественном конструировании всевозможной аппаратуры и в ряде других инженерно-психологических задач.
Для понимания работы зрительной системы в процессе решения той или иной конкретной задачи недостаточно утверждения о том, что точки фиксации располагаются в экстремумах функции информативности. Необходимо ещё указать, какие экстремумы (то есть какие геометрические особенности) выбираются в данной задаче.
Содержание "принципа ближайшего экстремума" составляет следующие предположения:
- При обходе углов, ориентированных остриями к центру изображения, как правило, фиксируются минимумы, а при обходе углов, ориентированных в противоположную сторону, фиксируются максимумы функции информативности, другими словами, фиксируется ближайший к центру изображения экстремум, соответственно решаемой задаче.
В пользу этого предположения свидетельствует тот факт, что расположение точек фиксации на изображениях каждого типа удовлетворяет следствиям основной гипотезы.
- В том случае, когда функция информативности фигуры имеет несколько локальных экстремумов, при переводе взора на эту фигуру обычно выбирается ближайший экстремум, соответствующий поставленной зрительной задаче.
Согласно этому предположению, если угол ориентирован остриём навстречу глазу, то точки фиксации в среднем будут располагаться в минимуме функции информативности, то есть ближе к вершине, а при обратной ориентации – в её максимуме, то есть дальше от вершины.
Если в соответствии с задачей оценки расстояний испытуемый должен осмотреть два фрагмента изображения и функция информативности на каждом из них имеет несколько экстремумов, то в качестве точек отсчёта расстояния выбираются такие экстремумы, что расстояние между точками отсчёта оказывается минимальным.
Описание изображения – это такое высказывание, в котором содержится информация о том, из каких частей состоит это изображение и как эти части связаны между собой или как они расположены друг относительно друга.
Для того, чтобы изображение можно было описывать, необходим язык, состоящий из словаря, то есть списка названий частей и типов их взаимного расположения, характерных для данного ансамбля изображений, и из правил, по которым эти названия можно соединять в некоторое высказывание-описание. Автоматическое построение описания является первым этапом многих задач по распознаванию и интерпретации изображений.
Описание конкретного изображения есть по существу отнесение этого изображения к определённому классу "похожих" на него изображений. В свою очередь содержание понятий, описывающих определённую "форму" или определённое "место" характерного фрагмента, зависит от конкретных изображений, при анализе которых эти понятия были выработаны.
Из этих соображений и возникает идея применения методов автоматической классификации для решения задачи формирования словаря.
Организацию процесса формирования языка для описания формы изображений в целом можно представить в следующем виде:
1) на множестве изображений, предъявленных машине в процессе обучения, находятся все характерные фрагменты;
2) для каждого из фрагментов строятся 2 вектора: вектор, фиксирующий форму фрагмента, и вектор, фиксирующий его местоположение;
3) множество векторов, определяющих форму найденных фрагментов, методом автоматической классификации ("обучения без учителя") разделяется на группы "близких", и тем самым образуется словарь "форм" характерных фрагментов;
4) аналогично на множестве векторов направлений, определяющих местоположение найденных фрагментов, формируется словарь "мест";
5) для каждого изображения, данного машине в обучении, строится таблица "форма-место".
Графический препарат – это контурное изображение ребер объектов сцены.
Обработка начинается с поиска и прослеживания контуров. Контурные точки составляют незначительную долю в общем числе точек изображения. Для такой обработки конструируют операторы фильтрации, способные прослеживать контуры на исходном изображении.
Простейший из них сводится к поиску точек, для которых модуль градиента функции яркости превышает некоторый заданный порог. Далее осматриваются все точки вокруг найденной и делается шаг в точку с наибольшим значением модуля градиента. Этот процесс повторяется на последующих шагах с тем лишь отличием, что шаг назад запрещён. Так происходит прослеживание контурной линии.
Значения функции информативности зависят от плотности, размера и вытянутости элементов изображения, то есть от таких свойств, которые характерны для текстур. Эта функция мало изменяется на однородных участках текстуры и претерпевает резкие изменения при переходе от одного однородного участка к другому.
Рассмотрение систем "человек-машина", основанных на обмене изображениями между оператором и машиной, показывает, что основу математического обеспечения этого обмена составляет язык описания изображения, который строится на основе выделения и анализа геометрических особенностей. Такой язык является естественным для человеческого восприятия и для восприятия машиной. Он может строится автоматически на основе идеи о локальных экстремумах функции информативности. Поэтому машина, пользующаяся схемой автоматической выработки такого языка, может быть обучающейся и способной модифицировать этот язык применительно к описанию конкретного класса изображений.
| 
