Результаты гранта РНФ, посвящённого моделям мультимодального ИИ, в диссертациях молодых учёных КФУ

Учёные Крымского федерального университета имени В. И. Вернадского продолжают исследования в области интеллектуального анализа цифрового контента. Второй год реализуется проект Российского научного фонда «Разработка математических моделей и системы оценки контента на наличие экстремистского содержания на основе анализа текста и детектирования объектов на изображениях и видео».

 

Проект реализуется под руководством кандидата технических наук, директора Центра искусственного интеллекта и анализа больших данных КФУ Марины Руденко. В научный коллектив входят молодые исследователи Центра Дмитрий Кухта и Милада Крапивина.

 

Основное направление работы связано с разработкой мультимодального подхода, при котором текст, изображения, видео и характеристики распространения публикаций анализируются не изолированно, а как взаимосвязанные источники информации. При этом задача исследования не сводится к поиску отдельных слов, символов или объектов. Учёные стремятся выявлять целостные деструктивные сценарии, связанные с экстремистской направленностью контента, когда значение определяется сочетанием признаков, их контекстом, динамикой и взаимосвязями. Такой принцип позволяет перейти от фиксации отдельных маркеров к комплексной оценке информационного объекта.

 

На втором году проекта разработан подход, объединяющий семантический анализ текста, графовое представление связей между информационными объектами и методы визуализации результатов классификации. Для анализа публикаций социальных сетей исследователи применили нейросетевые языковые модели и предложили графовую модель, позволяющую учитывать связи между публикациями и активность пользователей. Результаты опубликованы международным издательством Springer в серии Lecture Notes in Networks and Systems.

 

Дальнейшим развитием исследования стала разработка энтропийного подхода к регуляризации мультимодальных оценок. Предложенная архитектура объединяет специализированные нейросетевые модели обработки отдельных модальностей, механизм контекстной памяти GRU и нечёткий слой Такаги—Сугено—Канга. Энтропийная регуляризация предназначена для снижения переуверенности нейросетевых моделей и повышения устойчивости результатов к языковому, визуальному и контекстному шуму.

 

Экспериментальная проверка проведена на специализированном наборе из 1426 информационных объектов. В исследовании сопоставлялись модели анализа изображений, текста, продукционная система, модель нечёткого вывода и разработанная нейросетевая модель мультимодальной оценки. Полученные результаты показали, что использование разных источников информации позволяет формировать более устойчивую и содержательно интерпретируемую оценку цифрового объекта.

 

«Для нас принципиально важно не просто получить от нейронной сети итоговый класс. При использовании универсальных трансформерных архитектур различные классы и признаки могут смешиваться в общем пространстве представлений, а итоговый ответ сам по себе не даёт специалисту значений исходных частных метрик, на основании которых он сформирован. Поэтому в проекте мы исследуем другой принцип — интеграцию специализированных моделей разных модальностей. Отдельно анализируются текст, визуальные объекты, метаданные и контекст, рассчитываются характеризующие их показатели, после чего результаты объединяются на уровне мультимодальной модели. В наших экспериментах такой подход позволяет получать более таргетированный результат по конкретным признакам и сохранять возможность его интерпретации. Для задач информационной безопасности важно, чтобы искусственный интеллект не просто выдавал ответ, а предоставлял специалисту данные, позволяющие понять, почему этот ответ получен», — отметила руководитель проекта Марина Руденко.

 

Особое значение имеет участие в проекте молодых учёных и аспирантов КФУ. Работа в составе научного коллектива позволяет им непосредственно участвовать в исследованиях одного из наиболее актуальных направлений — искусственного интеллекта и мультимодального анализа данных, получать собственные научные результаты и использовать их при подготовке диссертаций. Это способствует формированию в университете нового поколения исследователей, развитию научной школы в области искусственного интеллекта и повышению уровня преподавания современных технологий студентам КФУ.

 

Дмитрий Кухта завершил обучение в аспирантуре и успешно представил на итоговой аттестации диссертацию «Модели и алгоритмы организации гибридных баз знаний для поддержки принятия решений в условиях неопределённости». Разработанные в рамках гранта методы анализа информации, представления знаний и поддержки принятия решений вошли в научную основу его диссертационного исследования.

 

Милада Крапивина продолжает подготовку диссертационного исследования в области устойчивых мультимодальных методов анализа и оценки цифрового контента. Таким образом, результаты гранта уже становятся основой квалификационных научных работ молодых исследователей КФУ и одновременно формируют компетенции, востребованные как в научной, так и в образовательной деятельности университета.

 

Полученные в ходе проекта научные результаты публикуются в ведущих отечественных и международных изданиях, представляются на международных научных конференциях и становятся основой диссертационных исследований молодых участников коллектива. Это позволяет развивать в КФУ собственное научное направление в области мультимодального искусственного интеллекта, математического моделирования и интеллектуального анализа цифрового контента.

 

На следующем этапе учёные продолжат развитие методов семантического и визуального анализа, исследование временной динамики информационных объектов и совершенствование механизмов интеграции различных модальностей. Особое внимание будет уделено устойчивости моделей к неопределённости и шуму, а также объяснимости получаемых оценок.