Сегментация изображений гистологических объектов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации

Объекты на медицинских изображениях обладают большой сложностью и многофакторностью, что обусловливает высокие требования к надёжности, точности и достоверности результатов исследований. Использование вычислительной техники и математических методов в этой отрасли позволяет не только ускорить процесс обработки материала, но и повысить точность результатов исследования.

Развитие электроники и вредность условий работы стимулировали повышенное внимание к цифровому анализу рентгеновских, ультразвуковых изображений и изображений ядерно-магнитного резонанса, главным достижением которого можно считать появление компьютерного томографа. Однако сложности в получении качественных изображений гистологических объектов значительно тормозят развитие этой отрасли.

Автоматизация анализа гистологических структур ускоряет диагностику заболевания, позволяет расширить границы научных поисков в медицине. Автоматическое измерение параметров гистологических объектов даёт возможность уточнить лечение и управление терапевтическими процессами. Так, наиболее перспективным методом ранней диагностики опухолевых заболеваний в настоящее время является автоматизация цитофотометрического анализа специально приготовленных и окрашенных гистологических препаратов и разделение их по принципу норма – патология.

Одной из главных частей автоматизации измерения оптических и геометрических параметров является выделение объектов на гистологических препаратах. Эта задача решается с помощью методов и средств цифрового анализа изображений.

Основной причиной отсутствия автоматизации в гистологии является высокая вариабельность и слабая контрастность большинства гистологических структур.

Однако быстрое развитие цифровой и аналоговой техники в последнее время открывает новые возможности перед разработчиками. Например, увеличение быстродействия вычислительной техники позволяет использовать сложные, критичные ко времени алгоритмы, а благодаря появлению цветных телевизионных датчиков высокого разрешения можно получать и обрабатывать цветные изображения. Именно новые технические возможности позволяют значительно расширить круг исследований, открывают новые пути решения задач, касающихся анализа изображений. Данная работа посвящена одной из таких задач – сегментации объектов на изображениях гистологических препаратов.

Связь работы с крупными научными программами, темами

Диссертационная работа выполнена в лаборатории обработки и распознавания изображений Института технической кибернетики НАН Беларуси в сотрудничестве с лабораторией методов морфологических исследований МГМИ в рамках тем: Интеллект 17 “Создание теоретических основ разработки, применения и распознавания изображений с использованием искусственного интеллекта” – постановление президиума НАН Беларуси № 88 от 23.11.95; “Разработать рабочий проект АРМ клинического морфолога и сдать в опытную эксплуатацию в МГМИ” в соответствии с “Программой информатизации Республики Беларусь на 1991-1995 годы и на период до 2000 года”, утвержденной Постановлением Совета Министров Республики Беларусь N 444 от 27.11.92; “Разработать платформонезависимые инструментальные средства обеспечения удалённого сбора, хранения и визуализации биомедицинской информации в НИКС” в соответствии с Постановлением Совета Министров Республики Беларусь от 22 октября 1998 г. №1609 “О развитии в республике работ по созданию единой научно-информационной компьютерной сети”.

Цель и задачи исследования

Цель работы – разработать алгоритмы сегментации для определения гистологических объектов на слабоконтрастных цветных и полутоновых изображениях для решения задач диагностики заболеваний, лечения и управления терапевтическими процедурами.

Для достижения поставленной цели потребовалось:

-   классифицировать изображения гистологических объектов по геометрическим, топологическим, оптическим характеристикам;

-   разработать алгоритмы сегментации волокон и сосудов;

-   разработать алгоритмы сегментации клеток;

-   разработать методы сегментации цветных изображений гистологических объектов;

-   программно реализовать алгоритмы сегментации гистологических объектов и проверить их на конкретных примерах.

Объект и предмет исследования

Исследования выполнены в области сегментации изображений. Предметом исследования являются гистологические объекты на цветных и полутоновых изображениях препаратов оптической микроскопии.

Гипотеза

Все изображения гистологических объектов можно классифицировать по их геометрическим и оптическим свойствам и свойствам их окружения, а для каждого класса объектов можно определить алгоритм сегментации, позволяющий получить результат, удовлетворяющий исследователей гистологических препаратов.

 

Методология и методы проведённого исследования

В качестве теоретических методов исследования использовались методы цифровой обработки сигналов и изображений, математического анализа и математического моделирования. Для программной реализации разработанных алгоритмов использовались методы создания программных систем, методы оптимизации программных комплексов, программирование на языках высокого уровня.

Научная новизна полученных результатов

Разработана классификация гистологических объектов по особенностям их изображений для определения способа сегментации. Каждый класс определяет основные объекты на гистологических препаратах и особенности их представления. Для него выбран алгоритм сегментации, позволяющий получить качественный результат. Основная задача этой классификации – определить оптимальный путь от входного полутонового или цветного изображения до выделенного объекта на бинарном изображении.

Разработан алгоритм полутонового утоньшения, основное отличие которого заключается в том, что он ориентирован на обработку слабоконтрастных изображений сосудов и волокон, где толщиной исходных объектов можно пренебречь, так как длина этих объектов намного превышает их ширину. Причем объекты могут быть окружены фоном с постоянно меняющимися яркостными и цветовыми характеристиками, который включает в себя изображения объектов другого типа.

Разработан алгоритм сегментации и отслеживания сосудов и волокон при больших увеличениях. Основная особенность этого алгоритма – это определение объекта по областям, выделенным в результате утоньшения всего изображения, которое обработано оператором выделения границ (например, фильтром Собеля), что позволяет не только увеличить скорость по сравнению с алгоритмами поточечной трассировки, но и получить более качественные результаты на слабоконтрастных изображениях.

Разработаны два алгоритма сегментации выпуклых объектов (клеток, ядер, волокон и сосудов в продольном сечении). Их основная особенность заключается в том, что они ориентированы на выделение объектов, окруженных сложным по геометрическим и оптическим характеристикам фоном. Первый алгоритм базируется на методах математической морфологии и ориентирован на объекты с неравномерным фоном, основывается на определении границ выпуклых фигур; другой – на объединении областей, выделенных в результате утоньшения перепадов яркости, и позволяет определять объекты даже тогда, когда перепады уровней яркости объектов такие же, как и у окружающего их фона. Отсутствие стадий “засевания”, роста и разделения областей приводит к выигрышу в скорости по сравнению с традиционными алгоритмами роста областей.

Разработана система координат описания цвета, специализированная на выполнении операций математической морфологии на цветных изображениях. Использование этой системы координат даёт возможность улучшить качество получаемого результата и увеличить скорость по сравнению с обработкой в традиционных системах координат.

Экономическая и практическая значимость полученных результатов

Использование алгоритмов сегментации гистологических объектов способствует повышению эффективности работы исследователя и получению более качественных и точных результатов измерения характеристик гистологических объектов.

Разработанные алгоритмы и программный комплекс, используемые в настоящее время в научных и диагностических процессах, являются экономически эффективными за счёт снижения затрат на ручной труд при измерении и классификации гистологических объектов.

Алгоритмы и программный комплекс анализа и обработки медицинских изображений внедрены и используются в учебных, научных и диагностических процессах двух медицинских вузов (Минском государственном медицинском институте, Гродненском государственном медицинском институте) и трёх НИИ (Бел НИИ эпидемиологии и микробиологии (г.Минск), Бел НИИ онкологии медицинской радиологии (г.Минск), Институте биохимии НАН РБ (г.Гродно)) Республики Беларусь, а также в двух медицинских вузах (Саратовской государственной медицинской академии, Ярославльской государственной медицинской академии), Институте физиологии детей и подростков РАМН (г.Москва) и Всероссийском центре пластической хирургии глаза МПЗП РФ (г.Уфа) Российской Федерации.

Разработанные методы и алгоритмы могут также включаться в существующие либо разрабатываемые коммерческие системы анализа и обработки гистологических объектов как общеупотребительные, так и узкоспециализированные.

Основные положения диссертации, выносимые на защиту:

-   классификация гистологических объектов для определения метода сегментации изображений гистологических объектов;

-   алгоритм полутонового утоньшения объектов на слабоконтрастных изображениях гистологических объектов;

-   алгоритм сегментации и отслеживания сосудов или волокон при больших оптических увеличениях;

-   алгоритм морфологической сегментации отдельных клеток;

-   алгоритм сегментации клеток со сложным фоном, основанный на объединении областей;

-   алгоритм определения клеток на бинарном изображении, полученном с помощью пороговой сегментации;

-   координаты описания цвета, предназначенные для работы методов математической морфологии и других сложных полутоновых операций на изображениях гистологических препаратов.

Личный вклад соискателя

Все предлагаемые алгоритмы были разработаны и программно реализованы лично автором. Научный руководитель принимал участие в постановке задач, определении возможных путей решения и их предварительном анализе.

Апробация результатов диссертации

Основные результаты работы докладывались и обсуждались на конференциях и симпозиумах: научно-технической конференции по компьютерной графике и анимации (Минск, 1993), 8^th International Symposium on Diagnostic Quantitative Pathology. (Amsterdam, The Netherlands, 1994), Третей научной конференции по распознаванию и анализу изображений (Минск, 1995), I конгрессе Международной ассоциации патологоанатомов (г.Москва, 1995), республиканской научной конференции молодых ученых и студентов “Актуальные проблемы современной медицины” (Минск, 1997), System and signals in Intelligent Technologies (Минск, 1998), V международной конференции “Компьютерный анализ данных и моделирование” (8-12 июня 1998, Минск), Fifth International Conference Pattern Recognition and Information Processing PRIP99 (Минск, 18 - 20 мая 1999).

Опубликованность результатов

По материалам проведённых исследований опубликовано 12 научных работ, в том числе:

1 статья в научном журнале;

3 статьи в сборниках научных трудов;

8 докладов на международных конференциях.

Структура и объем диссертации

Диссертация состоит из введения, четырёх глав, заключения, приложения и списка литературы из 152 наименований. Диссертация изложена на 121 странице, включая 72 иллюстрации.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, кратко излагается состояние предметной области, нерешенные задачи и даётся краткая характеристика работы.

В первой главе выполнен анализ состояния предметной области: дано описание гистологических объектов и особенностей их изображений, обзор существующих методов систем обработки медицинских изображений, а также описание основных направлений развития алгоритмов сегментации объектов. По результатам проведённого анализа можно сделать следующие выводы.

1.   Большинство объектов на гистологических препаратах представлены слабоконтрастными изображениями и характеризуются большой вариабельностью геометрических и оптических характеристик, в связи с чем при анализе подобных изображений возникают определенные трудности. Поэтому для выбора эффективных методов сегментации требуется дополнительная классификация этих объектов.

2.   Автоматический анализ изображений гистологических объектов слабо освещён в литературе.

3.   Гистологические объекты характеризуются слабой контрастностью, широким спектром форм и размеров. Поэтому их специфика вносит определенные особенности на этапе сегментации.

4.   Можно определить три основных класса методов сегментации объектов на гистологических изображениях: пороговые, морфологические, методы наращивания областей. Хотя существует ещё ряд частных методов сегментации, не относящихся к ним.

5.   Тема сегментации медицинских изображений в настоящее время является актуальной и очень важна в диагностических и научных исследованиях.

На основе результатов анализа выдвигается гипотеза: для каждого класса объектов можно определить алгоритм сегментации, позволяющий получить результат, удовлетворяющий исследователей гистологических препаратов.

Вторая глава посвящена сегментации гистологических объектов на полутоновых изображениях.

Глава начинается с классификации гистологических объектов для определения наиболее эффективного метода сегментации. В ходе классификации определяются три основных класса объектов: площадные (клетки, ядра клеток, сосуды и волокна в поперечном срезе), протяженные объекты (сосуды и волокна в продольном срезе), мелкие контрастные объекты (ядрышки, клеточные включения, артефакты) (табл. 1).

Таблица 1

Таблица классификации гистологических объектов и методов их сегментации для каждого класса

Вид объекта	Характеристика изображения	Равномерный фон	Неравномерный фон
Площадные	Отдельно лежащие объекты одного типа	Пороговая сегментация	Методы математической морфологии
Объекты	Объекты, сопровождаемые объектами другого типа	Пороговая сегментация	Методы  объединения областей
Протяженные объекты	Произвольное изображение	Пороговая сегментация	Морфологическая сегментация,  основанная на утоньшении
Мелкие контрастные объекты	Произвольное  изображение	Пороговая сегментация	Пороговая сегментация

Используя характеристику протяженных объектов, для получения результата можно применять методы математической морфологии. Для выделения средней линии, соответствующей протяжённым объектам, чаще всего применяется полутоновое утоньшение изображения. Поэтому в диссертации был разработан алгоритм полутонового утоньшения, ориентированный на обработку изображений гистологических препаратов со сложным фоном, у которых на разных участках изображения меняются полутоновые характеристики.

Утоньшение изображения осуществляется за четыре прохода, а именно для верхнего, нижнего, правого и левого края. За каждый из четырех проходов значение пикселя изменяется по условиям:

1)   p2<x AND p6³x AND (p1<x AND p4³x OR p3<x AND p0³x OR p0³x AND p4³x);

2)   p6<x AND p2³x AND (p5<x AND p0³x OR p7<x AND p4³x OR p4³x AND p0³x);

3)   p4<x AND p0³x AND (p3<x AND p6³x OR p5<x AND p2³x OR p2³x AND p6³x);

4)   p0<x AND p4³x AND (p7<x AND p2³x OR p1<x AND p6³x OR p6³x AND p2³x),

где номера пикселей соответствуют рис. 1.

P3	P2	p1
p4	Х	p0
p5	P6	p7

Рис. 1 Окрестность пикселя X

В работе предлагаются три варианта изменения пикселя, удовлетворяющего вышеуказанным условиям:

1.   Последовательная обработка полутоновых слоёв: последовательное утоньшение каждого полутонового уровня как бинарного изображения от максимального к минимальному.

2.   Одновременная обработка полутоновых слоёв: изменяемый пиксель уменьшается на единицу (рис. 2).

3.   Одновременная обработка с максимизацией значения пикселя: значению изменяемого пикселя присваивается значение максимального соседа из его окружения, полутоновая величина которого не превышает величину изменяемого пикселя.

Способ изменения пикселя зависит от контрастности изображения. Первым способом достигается идеальный результат для любых изображений, но он медленный. Третий способ – быстрый, но результат корректен только для контрастных изображений. Для большинства изображений более эффективно использовать второй способ (рис. 2).

Бинаризация скелета проводится за один проход изображения. Если обрабатываемый пиксель имеет хотя бы одного из четырёх соседей (p0, p2, p4, p6) меньше его или всех диагональных восьмисоседей меньше его, то значение пикселя приравнивается к 1 , в противном случае – к 0:

If (X>p0 OR X>p4 OR X>p2 OR X>P6) OR (X>p1 AND X>p3 AND X>p5 AND X>p7) THEN X=1 ELSE X=0.

Учитывая особенности протяжённых объектов при слабом оптическом увеличении, бинаризированный скелет соответствует выделяемым сосудам или волокнам.

При больших увеличениях толщина протяженных объектов начинает играть существенную роль, поэтому для этого случая был разработан отдельный алгоритм сегментации. Особенность алгоритма заключается в наличии двух параллельных ветвей: обработка самого изображения и его градиента. В результате утоньшения градиента изображения получаются области для обработки, соответствующие либо фону, либо объекту. По соответствию полученного скелета изображения областям определяются протяженные объекты (рис 3).

В качестве развития этого алгоритма предлагается алгоритм идентификации сосудов или волокон, который использует области и скелет, полученные с помощью предыдущего алгоритма. Он выполняется с помощью отслеживания протяженного объекта и классификации областей на три класса (пересечения, разветвления и продолжения), которая проводится с помощью анализа точек пересечения скелета с границами области.

Выбор метода сегментации для площадных объектов зависит от соотношения фона и полутоновых характеристик объектов. Для контрастных изображений лучше всего использовать алгоритмы пороговой сегментации, но в случае слабоконтрастных изображений они не позволяют получить качественный результат. Если фон неравномерен, а изображение включает отдельно лежащие объекты одного типа, и, кроме того, полутоновая величина для пикселей фона меняется равномерно и не делает резких скачков, хорошие результаты получаются при применении морфологической сегментации. В основе разработанного алгоритма лежит полутоновое утоньшение морфологического градиента, сопровождаемое операцией обрезания хвостов на каждую итерацию, которая позволяет получить замкнутые контуры, ограничивающие области, соответствующие объектам. Результаты, полученные с помощью этого метода, соответствуют выделяемым гистологическим объектам (рис. 4).

а) б) в) г)

Рис. 4.Морфологическая сегментация клетки нейрона: а) исходное изображение; б) результат утоньшения полутонового градиента; в) результат заливания; г) результирующее бинарное изображение клетки

В случае, когда в изображении объектов и фона полутоновая величина пикселей принимает любое значение, для сегментации разработан алгоритм объединения областей (рис 5). Отсутствие стадий “засевания”, роста и разделения областей приводит к выигрышу в скорости по сравнению с традиционными алгоритмами роста областей.

Объединение областей происходит при следующих условиях.