Применение технологий компьютерного зрения для объективной оценки показателей концентрации внимания детей
Оценка зрительной функции в первые несколько дней после рождения в основном ограничена исследованием глазных движений, способности фиксировать взгляд и следить за предметом. Для того чтобы определить, как перемещается взгляд ребенка при рассматривании объекта, как долго фиксируется на объекте, необходимы методики, позволяющие фиксировать движения глазных яблок и определяющие траекторию взгляда.
Авторы статьи провели данное исследование с целью разработки метода, основанного на технологии машинного обучения и компьютерного зрения, для автоматизированного анализа движения глаз и фиксации взгляда новорожденного и младенца при визуальной стимуляции.
Предлагаемый метод включает видеосъемку новорожденных и детей первого года жизни в стационаре и амбулаторно. В качестве исходных данных были использованы видеозаписи с камер мобильных телефонов длиной от 15 с до 3 мин. Из 150 видеозаписей новорожденных отобрано 73 видеофайла, из которых была выделена 61 запись достаточного качества, на которой ребенок был распознан как минимум в 30% кадров. Для каждой записи был записан трек состояний новорожденного при визуальной стимуляции. Распознавание образа лица было реализовано с помощью широко применяемой предобученной модели, основанной на машинном обучении и сверхточных сетях. Алгоритм исследования движения глаз включает поиск лица, определение положения головы по расположению глаз, носа, губ, поиск зоны глаз, поиск зрачка, определение относительного и абсолютного направления взгляда, отслеживание моргания.
Результаты
На основе полученных видеоданных авторами был разработан комплексный метод анализа направления взгляда младенца. Разработаны алгоритмы распознавания лица ребенка нейросетью на основе открытых аннотированных данных, настроена система распознавания глаз и нахождения зрачков, а также методы оценки абсолютного направления головы ребенка и относительного направления взгляда.
Была разработана и дообучена улучшенная модель распознавания лиц младенцев, нейросеть обучалась на собранных данных, аннотированных вручную. Данная нейросеть позволила в 93 из 100 случаев правильно распознавать лицо ребенка в кадре и давать четкие контуры лицевых ориентиров, что позволило авторам с хорошей точностью предсказывать положение головы ребенка. Текущая точность распознавания лица ребенка на снятых видео: в профиль съемка не производилась, в фас составила 90%. Такой комплексный подход позволил в режиме реального времени получать данные о направлении взгляда младенца, используя камеру обычного смартфона либо простую веб-камеру. В зависимости от размеров показываемого изображения и расстояния до него система высчитывала общее время концентрации на изображении, а также выявляла моменты, когда ребенок не интересовался изображением.
Данная модель с высокой точностью (98% на выборке взрослых людей) определяет лицо на кадре, а также 58 реперных точек, используемых авторами в дальнейшем анализе.
Для определения направления взгляда необходимо понимать направление поворота головы ребенка. Данный анализ выполнен с помощью обратного преобразования проекции модели на плоскость изображения на каждом кадре.
Связь модели и проекции осуществлялась по данным алгоритма распознавания лиц и привязывалась по реперным точкам угла глаз, носа, губ и подбородка ребенка. Распознавание направления взгляда было разработано методами компьютерного зрения и анализа изображений. Для каждого распознанного лица по известным точкам определялась область глаз, далее выявлялось относительное расположение зрачков, тем самым определяя направление взгляда новорожденного относительно поворота его головы. Однако в связи с физиологическими особенностями строения глаза и большими размерами зрачка не всегда удавалось установить точное направление взгляда; в таких случаях система следила только лишь за фактом моргания и критическими отклонениями зрачка от центра глаза.
Система позволяет распознать несколько состояний:
- Ребенок смотрит на объект перед камерой.
- Ребенок смотрит в другую сторону.
- Лицо ребенка распознано, но распознать направление взгляда невозможно.
- Лицо ребенка не распознано.
Также для всех видео была рассчитана длительность каждой непрерывной серии положительных состояний новорожденного, т.е. статусов, когда ребенок смотрит на объект перед камерой. Эти данные могут говорить о вовлеченности младенца в процесс визуальной стимуляции и о частоте его отвлечения от процесса.
В итоговую выборку с коэффициентом сосредоточения выше 0,1 попали случаи с большой вариативностью результатов; это говорит о необходимости набора материала и продолжении эксперимента в более жестких условиях, однако визуальное сравнение данных системы с исходным видео говорит о правдивости результатов. Так, младенцы с меньшим коэффициентом сосредоточения заметно менее вовлечены в процесс рассматривания картинки, в то время как младенцы с коэффициентом более 0,7 почти неотрывно смотрят на демонстрируемое изображение.
Также стоит отметить, что разработанная система может фиксировать не только время сосредоточения, но и скорость реакции, и при дальнейшей доработке оценивать способность детей грудного возраста/новорожденных следить за динамическими объектами, что, возможно, предоставит дополнительные данные для оценки текущего неврологического статуса ребенка.
В качестве пилотного исследования возможностей метода, в частности его динамической оценки на конкретном пациенте, авторами был проведен эксперимент с ребенком в возрасте 2,5 мес, которому в течение 10 дней в одно и то же время показывали контрастное черно-белое изображение по методике Cosmic Baby. Изображение показывалось на протяжении 1 мин, все это время камерой мобильного телефона фиксировалась его реакция. Затем с помощью описанного выше метода были обработаны видео и вычислено время концентрации на показываемом объекте. В процессе эксперимента отмечено, что интерес к изображению у ребенка растет на протяжении первых 3-4 дней, затем ребенок начинает все чаще отвлекаться, и изображение ему становится неинтересно.
Обсуждение
Оценка зрительной функции в первые несколько дней после рождения в основном ограничена исследованием глазных движений и способности фиксировать взгляд и прослеживать предметы. Окуломоторное поведение можно оценивать, наблюдая за спонтанными движениями глаз и возможными отклонениями, такими как спонтанный нистагм, или проверяя способность фиксировать взгляд и прослеживать предмет, однако это оценивается субъективно и не позволяет фиксировать, сравнивать и хранить результаты обследования по мере роста и развития ребенка.
Предложенная методика позволяет объективно определить длительность каждого периода времени, когда ребенок смотрит на объект перед камерой, что свидетельствует о возможности и длительности сосредоточения на привлекательном для ребенка объекте, о вовлеченности новорожденного или ребенка грудного возраста в процесс визуальной стимуляции и о частоте его отвлечения от процесса. В дальнейшем необходима разработка нормативных данных для детей различного гестационного и постконцептуального возраста. Данная методика может использоваться при оценке фиксационного сдвига — теста зрительного внимания, позволяющего оценивать направление и латентность саккадических движений глаз в ответ на периферическую цель в боковом поле. Центральная мишень используется в качестве стимула фиксации до появления периферийной мишени. Сдвиг внимания в ситуации отсутствия конкуренции между двумя стимулами наблюдается уже в первые недели жизни, в то время как активные повторения появляются в возрасте 4-5 мес. Остроту зрения у новорожденного можно проверить с помощью принудительного выбора, который является врожденным. Стимулы состоят из черно-белых полос разных пространственных частот, представленных по обе стороны от средней линии и в паре с равномерным серым фоном с другой стороны. Уровень остроты измеряется с помощью специальных рисунков («решетка»), для которых ребенок демонстрирует постоянное предпочтение. Разработаны нормативные данные для детей разного возраста.
Зрительные поля могут быть оценены с использованием кинетической периметрии с устройством, состоящим из 2 перпендикулярных черных металлических полос, согнутых для образования 2 дуг. Для оценки контура полей зрения фиксируется движение глаз и головы к периферическому шару. Для этого метода также разработаны нормативы для доношенных и недоношенных детей. Применение этих тестов позволило создать своего рода календарь начала и созревания различных аспектов зрительной функции в первый год после рождения, начиная с неонатального периода и в первые месяцы после рождения. Предложенная авторами система объективной оценки движения глаз с помощью компьютерного зрения может быть использована для совершенствования, объективизации и повышения точности этих методов.
Таким образом, оценка созревания различных составляющих зрительной функции позволяет получить более точную информацию о развитии зрения, что важно для оценки когнитивного развития в целом.
Предложенные алгоритмы легли в основу разработки комплексной системы анализа внимательности новорожденных при визуальной стимуляции, что может быть одним из объективных методов оценки зрительного анализатора новорожденного с первых дней жизни, а также ребенка грудного возраста в течение длительного времени. При дальнейшей разработке может быть поставлена задача оценки времени концентрации на демонстрируемом объекте. Также данная система может применяться для анализа эффективности различных методов ранней визуальной стимуляции у детей в контексте отдаленных результатов психомоторного и когнитивного развития. Дальнейшая работа состоит в наборе видеоматериалов достаточного качества с фиксацией одного и того же ребенка в продолжительном времени для анализа динамики коэффициента сосредоточения.
Источник:
Метки: научные исследования
02.08.2021