polenovjournalРоссийский нейрохирургический журнал имени профессора А. Л. ПоленоваRussian Neurosurgical Journal named after Professor A. L. Polenov2071-2693Семинары, Конференции и Форумыpolenovjournal-65Research ArticleОРИГИНАЛЬНЫЕ СТАТЬИORIGINAL PAPERSИзвлечение информации о случаях послеоперационной тромбоэмболии легочной артерии в нейрохирургии: исследования с помощью технологий искусственного интеллектаInformation extraction on postoperative pulmonary embolism in neurosurgery: a research using artificial intelligencehttps://orcid.org/0000-0003-1442-5993ДаниловГ. В.DanilovG. V.

Данилов Глеб Валерьевич

Москва

Danilov Gleb Valerievich

Moscow

https://orcid.org/0000-0001-8343-3511ПотаповА. А.PotapovA. A.

Потапов Александр Александрович

Москва

Potapov Alexander Aleksandrovich

Moscow

https://orcid.org/0000-0002-3019-5203КосырьковаА. В.KosyrkovaA. V.

Косырькова Александра Вячеславовна

Москва

Kosyr’kova Aleksandra Vyacheslavovna

Moscow

https://orcid.org/0000-0002-1727-5102ШульцМ. А.ShultsM. A.

Шульц Мария Андреевна

Москва

Shul’ts Mariya Andreyevna

Moscow

https://orcid.org/0000-0001-7060-0667МельченкоС. А.MelchenkoS. A.

Мельченко Семен Андреевич

Москва

Mel’chenko Semen Andreyevich

Moscow

https://orcid.org/0000-0002-0046-1312ЦукановаТ. В.TsukanovaT. V.

Цуканова Татьяна Васильевна

Москва

Tsukanova Tatyana Vasilievna

Moscow

https://orcid.org/0000-0002-9606-5559ШифринМ. А.ShifrinM. A.

Шифрин Михаил Абрамович

Москва

Shifrin Mikhail Abramovich

Moscow

https://orcid.org/0000-0002-6509-4242ИшанкуловТ. А.IshankulovT. A.

Ишанкулов Тимур Александрович

Москва

Ishankulov Timur Aleksandrovich

Moscow

Федеральное государственное автономное учреждение «Национальный медицинский исследовательский центр нейрохирургии имени академика Н. Н. Бурденко» Министерства здравоохранения Российской ФедерацииРоссияFederal State Autonomous Institution “National Medical Research Center for Neurosurgery named after Academician N. N. Burdenko” of the Ministry of Health of the Russian FederationRussian Federation2022060820241424851Copyright © Данилов Г.В., Потапов А.А., Косырькова А.В., Шульц М.А., Мельченко С.А., Цуканова Т.В., Шифрин М.А., Ишанкулов Т.А., 20242024Данилов Г.В., Потапов А.А., Косырькова А.В., Шульц М.А., Мельченко С.А., Цуканова Т.В., Шифрин М.А., Ишанкулов Т.А.Danilov G.V., Potapov A.A., Kosyrkova A.V., Shults M.A., Melchenko S.A., Tsukanova T.V., Shifrin M.A., Ishankulov T.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://polenovjournal.elpub.ru/jour/article/view/65

Тромбоэмболия легочной артерии (ТЭЛА) является одним из наиболее опасных, но относительно редко встречающихся и потенциально предотвратимых осложнений в нейрохирургии. Надежная оценка частоты и факторов риска ТЭЛА в нейрохирургии требует анализа значительного количества случаев, накопленных за длительный период времени.

ЦЕЛЬ ИССЛЕДОВАНИЯ

ЦЕЛЬ ИССЛЕДОВАНИЯ: оценить качество извлечения информации о развитии госпитальной ТЭЛА после нейрохирургических операций на основании полуавтоматического исследования неструктурированных текстовых записей электронной истории болезни ФГАУ «НМИЦ нейрохирургии им. ак. Н. Н. Бурденко» Минздрава России за период 18 лет с помощью технологий искусственного интеллекта.

МАТЕРИАЛЫ И МЕТОДЫ

МАТЕРИАЛЫ И МЕТОДЫ: Для решения данной задачи был применен разработанный нами комплекс технологий с использованием методов искусственного интеллекта (патент RU 2751993C1). Проанализированы текстовые медицинские записи, первично внесенные врачами с помощью клавиатуры в электронную медицинскую карту «E-med» ФГАУ «НМИЦ нейрохирургии им. ак. Н.Н. Бурденко» Минздрава России в период с 2000 г. по 2017 г. Для верификации работы алгоритмов машинного обучения привлекали трех независимых экспертов-нейрохирургов.

РЕЗУЛЬТАТЫ

РЕЗУЛЬТАТЫ. В исследовании была проанализирована 621 история болезни, в которой информация о ТЭЛА содержалась с наибольшей вероятностью. мы наблюдали умеренное согласие (неполное — в 32,4 % случаев) между 3 экспертами (коэффициент каппа Лайта = 0,568, p < 0,0001). Разногласия были разрешены с привлечением третьего эксперта и введением формальных правил разметки текстов. Предложенный нами алгоритм извлечения информации продемонстрировал высокое качество извлечения информации о ТЭЛА по данным электронных историй болезни (чувствительность = 0,996; специфичность = 0,974; точность = 0,936; F1-мера = 0,921).

ЗАКЛЮЧЕНИЕ

ЗАКЛЮЧЕНИЕ. Минимизация субъективного фактора с помощью компьютерных технологий при извлечении информации из текстов позволяет повысить качество и надежность результатов ретроcпективных исследований, проводимых по данным медицинской документации большого объема.

Pulmonary embolism (PE) is one of the most dangerous but relatively rare and potentially preventable complications in neurosurgery. A reliable assessment of PE rate and risk factors in neurosurgery requires analyzing a significant number of cases accumulated over a long time.

PURPOSE OF THE STUDY

PURPOSE OF THE STUDY: to evaluate the quality of information extraction about hospital PE after neurosurgical operations with a semi-automatic analysis of unstructured texts from the electronic health records of the FSAI «NMRC named after ac. N. N. Burdenko» of the ministry of health of Russia for a period of 18 years using artificial intelligence technologies.

MATERIALS AND METHODS

MATERIALS AND METHODS: To accomplish our goal, we applied a set of technologies we developed using artificial intelligence (patent RU 2751993C 1). The textual medical records, initially typed in by doctors using the keyboard into the electronic health records system «E-med» of the FSAI «NMRC named after ac. N. N. Burdenko» of the ministry of health of Russia from 2000 to 2017 were analysed. Three independent experts (neurosurgeons) were involved to verify machine learning performance.

RESULTS

RESULTS. We analyzed 621 case histories that were most likely to contain information about PE. We observed moderate agreement (incomplete — in 32.4 % of cases) between 3 experts (Kappa Light coefficient = 0.568, p < 0.0001). Disagreements were resolved with the involvement of a third expert and the introduction of formal rules for texts labeling. The information extraction algorithm we proposed demonstrated good performance in detecting PE in electronic medical records (sensitivity = 0.996; specificity = 0.974; accuracy = 0.936; F1-score = 0.921).

CONCLUSION

CONCLUSION. minimization of the subjective factor using computer technologies improves the quality and reliability of retrospective studies over a huge set of medical records.

нейрохирургиятромбоэмболия легочной артерииосложненияискусственный интеллектанализ текстов на естественном языкеneurosurgerypulmonary embolismcomplicationsartificial intelligencenatural language processingРабота поддержана Российским фондом фундаментальных исследований (грант 18-29-22085).The study was supported by the Russian Foundation for Basic Research (grant 18-29-22085).ReferencesKhan NR, Patel PG, Sharpe JP, Lee SL, Sorenson J. Chemical venous thromboembolism prophylaxis in neurosurgical patients: an updated systematic review and meta-analysis. J Neurosurg. 2018;129(4):906–915. doi:10.3171/2017.2.jNS162040Khan NR, Patel PG, Sharpe JP, Lee SL, Sorenson J. Chemical venous thromboembolism prophylaxis in neurosurgical patients: an updated systematic review and meta-analysis. J Neurosurg. 2018;129(4):906–915. doi:10.3171/2017.2.jNS162040Light RJ. Measures of response agreement for qualitative data: Some generalizations and alternatives. Psychol Bull. 1971;76(5):365–377. doi:10.1037/h0031643Light RJ. Measures of response agreement for qualitative data: Some generalizations and alternatives. Psychol Bull. 1971;76(5):365–377. doi:10.1037/h0031643Данилов Г.В., Шифрин М. А., Потапов А. А., et al. Способ извлечения информации из неструктурированных текстов, написанных на естественном языке (патент rU 2751993C 1). Опубликовано в сети 21 июля 2021 г. По состоянию на 27 декабря 2021 г. https://www.fips.ru/registers-doc-view/fips_servlet?dB=rUpaT&docNumber=2751993&TypeFile=htmlDanilov G.V., Shifrin M.A., Potapov A.A., et al. Method for extracting information from unstructured texts written in natural language (patent rU2751993C1). published online july 21, 2021. accessed december 27, 2021. https://www.fips.ru/registers-doc-view/fips_servlet?dB=rUpaT&docNumber=2751993&TypeFile=html (In russ.).Danilov G, Ishankulov T, Kosyrkova A, et al. Semiautomatic Identification of pulmonary embolism in electronic Health records Through Sentence labeling. Stud Health Technol Inform. 2022;289:69–72. doi:10.3233/SHTI210861danilov g, Kosyrkova a, Shults M, et al. Inter-rater reliability of Unstructured Text labeling: artificially vs. Naturally Intelligent approaches. Stud Health Technol Inform. 2021;281:118–122. doi:10.3233/SHTI210132Danilov G, Kosyrkova A, Shults M, et al. Inter-rater reliability of Unstructured Text labeling: artificially vs. Naturally Intelligent approaches. Stud Health Technol Inform. 2021;281:118–122. doi:10.3233/SHTI210132Danilov G, Ishankulov T, Kosyrkova A, et al. Semiautomatic Identification of pulmonary embolism in electronic Health records Through Sentence labeling. Stud Health Technol Inform. 2022;289:69–72. doi:10.3233/SHTI210861Danilov G, Kosyrkova A, Shults M, et al. Inter-rater reliability of Unstructured Text labeling: artificially vs. Naturally Intelligent approaches. Stud Health Technol Inform. 2021;281:118–122. doi:10.3233/SHTI210132Danilov G, Kosyrkova A, Shults M, et al. Inter-rater reliability of Unstructured Text labeling: artificially vs. Naturally Intelligent approaches. Stud Health Technol Inform. 2021;281:118–122. doi:10.3233/SHTI210132

The authors declare that there are no conflicts of interest present.