Отпечатки спектральных органов для машинного обучения

Том 12 научных отчетов, номер статьи: 11028 (2022) Цитировать эту статью

Доступы 1978 года

6 цитат

14 Альтметрика

Подробности о метриках

Визуальное различение тканей во время операции может оказаться затруднительным, поскольку разные ткани кажутся похожими на человеческий глаз. Гиперспектральная визуализация (HSI) устраняет это ограничение, связывая каждый пиксель с многомерной спектральной информацией. Хотя предыдущая работа показала его общий потенциал для распознавания тканей, клиническое применение было ограничено из-за отсутствия у этого метода надежности и возможности обобщения. В частности, научному сообществу не хватает комплексного спектрального атласа тканей, и неизвестно, объясняется ли изменчивость спектрального отражения в первую очередь типом ткани, а не записанными отдельными людьми или конкретными условиями сбора данных. Вклад этой работы тройной: (1) На основе аннотированного набора медицинских данных HSI (9059 изображений от 46 свиней) мы представляем атлас тканей, содержащий спектральные отпечатки пальцев 20 различных органов и типов тканей свиней. (2) Используя принцип анализа смешанной модели, мы показываем, что наибольшим источником изменчивости, связанной с изображениями HSI, является наблюдаемый орган. (3) Мы показываем, что полностью автоматическая дифференциация тканей 20 классов органов на основе HSI с глубокими нейронными сетями возможна с высокой точностью (> 95%). На основании нашего исследования мы пришли к выводу, что автоматическое различение тканей на основе данных HSI осуществимо и, таким образом, может помочь в принятии интраоперационных решений и проложить путь для контекстно-зависимых компьютерных хирургических систем и автономной робототехники.

Отличие тканевых состояний, патологий и критических структур от здоровых окружающих тканей во время операции может быть сложной задачей, учитывая тот факт, что различные ткани тела выглядят похожими на человеческий глаз. В то время как традиционная интраоперационная визуализация ограничена имитацией человеческого глаза, гиперспектральная визуализация (HSI) устраняет это произвольное ограничение на запись только красного, зеленого и синего (RGB) цветов. HSI работает, присваивая каждому пикселю обычного двумерного цифрового изображения третье измерение спектральной информации. Спектральная информация содержит интенсивность отражения каждого пикселя в зависимости от длины волны. В результате получается трехмерный куб данных с двумя пространственными измерениями (x, y) и третьим спектральным измерением (λ). HSI нашел применение в различных областях, таких как геология и морские исследования, сельское хозяйство, пищевая промышленность, автоматическая сортировка мусора1,2 и недавно использовался во время космической миссии НАСА на Марс.

За последние несколько лет были предприняты обширные усилия по внедрению технологии HSI в здравоохранение. Примеры потенциальных будущих клинических применений включают количественную оценку оксигенации тканей и перфузии крови3,4, воспаления и сепсиса5, отеков6 или злокачественных новообразований7, а также компьютерное принятие решений и автоматическую идентификацию органов8. У них есть потенциал для поддержки будущих разработок, таких как интраоперационные системы когнитивной помощи или даже автоматизация роботизированной хирургии. Несмотря на многообещающие исследования, клиническое применение автоматической дифференцировки тканей на основе HSI еще не достигнуто. Это можно объяснить отсутствием в настоящее время надежности и возможности обобщения, которые являются наиболее важными требованиями для клинического применения. В этой связи остается несколько открытых исследовательских вопросов. В частности, изменчивость измерений HSI может быть результатом внутренних различий между несколькими типами тканей, находящихся под наблюдением (желаемый эффект), а также из-за межсубъектной изменчивости или изменчивости условий получения изображений (оба нежелательны). Нам не известны какие-либо предыдущие работы, в которых систематически исследовалась бы эта важная тема, и в конечном итоге мы стремимся обеспечить полное понимание данных гиперспектральных органов, проиллюстрировать потенциал анализа на основе HSI и представить надежные исходные данные, на которых могут основываться дальнейшие исследования.