polenovjournalРоссийский нейрохирургический журнал имени профессора А. Л. ПоленоваRussian Neurosurgical Journal named after Professor A. L. Polenov2071-2693Семинары, Конференции и Форумыpolenovjournal-86Research ArticleОРИГИНАЛЬНЫЕ СТАТЬИORIGINAL PAPERSПолуавтоматическое извлечение информации о наличии парезов у пациентов в нейрохирургии из историй болезни: исследования с помощью технологий искусственного интеллектаSemi-automatic information extraction on the presence of paresis in neurosurgical patients from health records: a research using artificial intelligencehttps://orcid.org/0000-0003-1442-5993ДаниловГ. В.DanilovG. V.

Данилов Глеб Валерьевич

Москва

Danilov Gleb Valerievich

Moscow

https://orcid.org/0000-0001-8343-3511ПотаповА. А.PotapovA. A.

Потапов Александр Александрович

Москва

Potapov Alexander Aleksandrovich

Moscow

https://orcid.org/0000-0002-9606-5559ШифринМ. А.ShifrinM. A.

Шифрин Михаил Абрамович

Москва

Shifrin Mikhail Abramovich

Moscow

https://orcid.org/0000-0001-5010-6661СтрунинаЮ. В.StruninaU. V.

Струнина Юлия Владимировна

Москва

Strunina Yuliya Vladimirovna

Moscow

https://orcid.org/0000-0002-3524-4983КотикК. В.KotikK. V.

Котик Константин Владимирович

Москва

Kotik Konstantin Vladimirovich

Moscow

https://orcid.org/0000-0002-0046-1312ЦукановаТ. В.TsukanovaT. V.

Цуканова Татьяна Васильевна

Москва

Tsukanova Tatyana Vasilievna

Moscow

https://orcid.org/0000-0003-0068-4599ПронкинаТ. Е.PronkinaT. E.

Пронкина Татьяна Евгеньевна

Москва

Pronkina Tatyana Yevgenievna

Moscow

https://orcid.org/0000-0002-6509-4242ИшанкуловТ. А.IshankulovT. A.

Ишанкулов Тимур Александрович

Москва

Ishankulov Timur Aleksandrovich

Moscow

https://orcid.org/0000-0003-2441-8818МакашоваЕ. СMakashovaE. S.

Макашова Елизавета Сергеевна

Москва

Makashova Yelizaveta Sergeyevna

Moscow

https://orcid.org/0000-0002-3019-5203КосырьковаА. В.KosyrkovaA. V.

Косырькова Александра Вячеславовна

Москва

Kosyrkova Aleksandra Vyacheslavovna

Moscow

https://orcid.org/0000-0001-7060-0667МельченкоС. А.MelchenkoS. A.

Мельченко Семен Андреевич

Москва

Melchenko Semen Andreyevich

Moscow

https://orcid.org/0000-0002-5621-6834ЗагидуллинТ. Р.ZagidullinT. R.

Загидуллин Тимур Рустамович

Москва

Zagidullin Timur Rustamovich

Moscow

Федеральное государственное автономное учреждение «Национальный медицинский исследовательский центр нейрохирургии имени академика Н. Н. Бурденко» Министерства здравоохранения Российской ФедерацииРоссияFederal State Autonomous Institution “National Medical Research Center for Neurosurgery named after Academician N. N. Burdenko” of the Ministry of Health of the Russian FederationRussian Federation2022070820241425255Copyright © Данилов Г.В., Потапов А.А., Шифрин М.А., Струнина Ю.В., Котик К.В., Цуканова Т.В., Пронкина Т.Е., Ишанкулов Т.А., Макашова Е.С., Косырькова А.В., Мельченко С.А., Загидуллин Т.Р., 20242024Данилов Г.В., Потапов А.А., Шифрин М.А., Струнина Ю.В., Котик К.В., Цуканова Т.В., Пронкина Т.Е., Ишанкулов Т.А., Макашова Е.С., Косырькова А.В., Мельченко С.А., Загидуллин Т.Р.Danilov G.V., Potapov A.A., Shifrin M.A., Strunina U.V., Kotik K.V., Tsukanova T.V., Pronkina T.E., Ishankulov T.A., Makashova E.S., Kosyrkova A.V., Melchenko S.A., Zagidullin T.R.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://polenovjournal.elpub.ru/jour/article/view/86

Выявление нежелательных явлений по данным клинических документов необходимо в рамках ретроспективных клинических исследований и в задачах мониторинга безопасности и экономической эффективности медицинской помощи. Поскольку нежелательные явления, как правило, описываются в медицинских записях в виде свободного текста, для извлечения информации о них из десятков тысяч историй болезни требуются специальные технологии.

ЦЕЛЬ ИССЛЕДОВАНИЯ

ЦЕЛЬ ИССЛЕДОВАНИЯ: оценить качество предложенного нами алгоритма для полуавтоматической идентификации парезов у пациентов с глиальными опухолями на этапе поступления в нейрохирургический стационар.

МАТЕРИАЛЫ И МЕТОДЫ

МАТЕРИАЛЫ И МЕТОДЫ: Для решения данной задачи был применен разработанный нами комплекс технологий с использованием методов искусственного интеллекта (патент RU 2751993C 1). В основе метода лежит отбор специфического для конкретного нежелательного явления лексикона и расшифровка его использования в микроконтекстах. Проанализированы текстовые медицинские записи, первично внесенные врачами с помощью клавиатуры в электронную медицинскую карту «E-med» ФГАУ «НМИЦ нейрохирургии им. ак. Н. Н. Бурденко» Минздрава России в период с 2000 г. по 2017 г.

РЕЗУЛЬТАТЫ

РЕЗУЛЬТАТЫ. Предложенный нами алгоритм позволил выявить парезы на дооперационном этапе с высоким качеством (чувствительность = 0,947, специфичность = 0,965, точность = 0,961, F1-мера = 0,926, ROC AUC = 0,956 [0,941; 0,969]). За счет оптимизации предложенного нами способа (использования только существительных при скрининге словаря) удалось сократить время на его реализацию c 13 до 6 часов практически без потери качества.

ЗАКЛЮЧЕНИЕ

ЗАКЛЮЧЕНИЕ. Методы анализа текстов, написанных на естественном языке, позволяют улучшить качество извлечения информации из медицинских текстов, что, в частности, может быть успешно применено в исследованиях безопасности оказания нейрохирургической помощи.

Adverse events identification in clinical documents is necessary for retrospective clinical research and evaluating medical care safety and cost-effectiveness. Since adverse events are usually reported with free text in medical records, special technologies are required to extract information about them from thousands of medical records.

MATERIALS AND METHODS

MATERIALS AND METHODS: We introduced a technology to extract information based on natural language processing (patent RU 2751993C 1). The method is grounded on preselecting a lexicon specific to a particular adverse event and deciphering its use in microcontexts. The textual medical records, initially typed in by doctors using the keyboard into the electronic health records system «E-med» of the FSAI «NMRC named after ac. N. N. Burdenko» of the ministry of health of Russia from 2000 to 2017 were analysed.

RESULTS

RESULTS. The technology we proposed enabled us to solve the task of paresis identification with high quality (sensitivity = 0,947, specificity = 0,965, accuracy = 0,961, F1-score = 0,926, ROC AUC = 0,956 [0,941; 0,969]). Optimization of the proposed method (using only nouns when screening a vocabulary) enabled to reduce the time for its implementation from 13 to 6 hours with no major loss in quality.

CONCLUSION

CONCLUSION. Natural language processing can improve the quality of information extraction from medical texts, which, in particular, can be successfully applied in neurosurgical safety research.

нейрохирургиятромбоэмболия легочной артерииосложненияискусственный интеллектанализ текстов на естественном языкеneurosurgeryparesiscomplicationsartificial intelligencenatural language processingПроект поддержан грантом РФФИ 18-29-22085. Извлечение данных для глиальных опухолей также было поддержано грантом РФФИ 18-29-01052.The project was supported by the RFBR grant 18-29-22085. Data extraction for glial tumors was also supported by RFBR grant 18-29-01052.ReferencesWang Y, Wang L, Rastegar-Mojarad M, et al. Clinical information extraction applications: a literature review. J Biomed Inform. 2018;77:34–49. doi:10.1016/j.jbi.2017.11.011Wang Y, Wang L, Rastegar-Mojarad M, et al. Clinical information extraction applications: a literature review. J Biomed Inform. 2018;77:34–49. doi:10.1016/j.jbi.2017.11.011Danilov G, Shifrin M, Strunina U, Pronkina T, Potapov A. An Information extraction algorithm for detecting adverse events in Neurosurgery Using documents written in a Natural rich-in-Morphology language. Stud Health Technol Inform. 2019;262:194– 197. doi:10.3233/SHTI190051Danilov G, Shifrin M, Strunina U, Pronkina T, Potapov A. An Information extraction algorithm for detecting adverse events in Neurosurgery Using documents written in a Natural rich-in-Morphology language. Stud Health Technol Inform. 2019;262:194– 197. doi:10.3233/SHTI190051Данилов Г.В., Шифрин М. А., Потапов А. А., et al. Способ извлечения информации из неструктурированных текстов, написанных на естественном языке (патент rU 2751993C 1). Опубликовано в сети 21 июля 2021 г. По состоянию на 27 декабря 2021 г. https://www.fips.ru/registers-doc-view/fips_servlet?dB=rUpaT&docNumber=2751993&TypeFile=htmlDanilov G.V., Shifrin M.a., Potapov A.A., et al. Method for extracting information from unstructured texts written in natural language (patent rU2751993C1). published online july 21, 2021. accessed december 27, 2021. https://www.fips.ru/registers-doc-view/fips_servlet?dB=rUpaT&docNumber=2751993&TypeFile=html (In russ.).Danilov G, Shifrin M, Strunina Y, et al. Detection of muscle weakness in medical texts using natural language processing. In: Studies in Health Technology and Informatics. Vol 270. IoS press; 2020:163– 167. doi:10.3233/SHTI200143Danilov G, Shifrin M, Strunina Y, et al. Detection of muscle weakness in medical texts using natural language processing. In: Studies in Health Technology and Informatics. Vol 270. IoS press; 2020:163– 167. doi:10.3233/SHTI200143Danilov G, Shifrin M, Strunina Y, et al. Semiautomated approach for muscle weakness detection in clinical texts. In: Studies in Health Technology and Informatics. Vol 272. IoS press; 2020:55–58. doi:10.3233/SHTI200492Danilov G, Shifrin M, Strunina Y, et al. Semiautomated approach for muscle weakness detection in clinical texts. In: Studies in Health Technology and Informatics. Vol 272. IoS press; 2020:55–58. doi:10.3233/SHTI200492Young IJB, luz S, lone N. A systematic review of natural language processing for classification tasks in the field of incident reporting and adverse event analysis. Int J Med Inform. 2019;132:103971. doi:10.1016/j.ijmedinf.2019.103971Young IJB, luz S, lone N. A systematic review of natural language processing for classification tasks in the field of incident reporting and adverse event analysis. Int J Med Inform. 2019;132:103971. doi:10.1016/j.ijmedinf.2019.103971Gaebel J, Kolter T, Arlt F, Denecke K. Extraction of adverse events From Clinical documents To Support decision Making Using Semantic preprocessing. Stud Health Technol Inform. 2015;216:1030.Gaebel J, Kolter T, Arlt F, Denecke K. Extraction of adverse events From Clinical documents To Support decision Making Using Semantic preprocessing. Stud Health Technol Inform. 2015;216:1030.Campillo-gimenez B, Garcelon N, Jarno P, Chapplain JM, Cuggia M. Full-text automated detection of surgical site infections secondary to neurosurgery in rennes, France. Stud Health Technol Inform. 2013;192:572–575.Campillo-gimenez B, Garcelon N, Jarno P, Chapplain JM, Cuggia M. Full-text automated detection of surgical site infections secondary to neurosurgery in rennes, France. Stud Health Technol Inform. 2013;192:572–575.Tvardik N, Kergourlay I, Bittar A, Segond F, Darmoni S, Metzger M-H. Accuracy of using natural language processing methods for identifying healthcare-associated infections. Int J Med Inform. 2018;117:96–102. doi:10.1016/j.ijmedinf.2018.06.002Tvardik N, Kergourlay I, Bittar A, Segond F, Darmoni S, Metzger M-H. Accuracy of using natural language processing methods for identifying healthcare-associated infections. Int J Med Inform. 2018;117:96–102. doi:10.1016/j.ijmedinf.2018.06.002

The authors declare that there are no conflicts of interest present.