Целесообразность и особенности предварительной обработки больших данных в нейрохирургии

Представлены особенности предварительной обработки больших данных, к которым могут применяться технологии искусственного интеллекта в клинической нейрохирургии. На первичном этапе автоматизированного создания крупных регистров пациентов данные характеризуются ошибками («шум»), пропусками и вариабельностью, что требует применения специфических методов предобработки. Очистка данных от шума, устранение пропусков и решение проблемы вариабельности на начальном этапе критически важны для проведения последующего анализа и применения технологий искусственного интеллекта. Предобработка данных включает в себя обнаружение статистических выбросов, нормализацию, извлечение признаков, выбор признаков. Эти этапы осуществляются такими методами, как анализ полных наблюдений, метод импутации, метод повторения результата последнего наблюдения, методы по уменьшению размерности данных. Применение данных методов позволяет повысить точность и эффективность алгоритмов искусственного интеллекта и улучшить интерпретацию результатов. Освещены практические рекомендации для нейрохирургов по выбору и применению методов предобработки данных.

1. Chu X. et al. Data cleaning: Overview and emerging challenges. Proceedings of the 2016 International Conference on Management of Data, SIGMOD ’16. 2016, Association for Computing Machinery. New York, 2016, pp. 2201–2206. Doi: 10.18699/SSMJ20230311.

2. Кивелев Ю. В., Сааренпя И., Кривошапкин А. Л. Формирование набора больших данных для клинических исследований на примере аневризм сосудов головного мозга // Сибир. науч. мед. журн. 2023. Т. 453, № 3. C. 86–94.

3. Suvanto K.-O. Machine learning based prediction of intensive care unit motrality for patients with aneurysmal subarachnoid hemorrhage . Faculty of information technology and electrical engeneering; University of Oulu. 2022, pp. 84.

4. Bhaya W., Review of data preprocessing techniques in data mining. Journal of Engineering and Applied Sciences. 2017;(12):4102–4107. Doi: 10.3923/jeasci.2017.4102.4107.

5. Kotsiantis S. B., Kanellopoulos D., Pintelas P. E. Data preprocessing for supervised leaning. International Journal of Computer and Information Engineering. 20;(1):111–117. Doi: 10.5281/zenodo.1082415.

6. Lipton Z. C., Kale D. C., Wetze R. Modeling missing data in clinical time series with RNNs. 2016. Available from: https://arxiv.org/abs/1606.0413 [Accessed 15 September 2025.

7. Mack C., Su Z., Westreic D. Managing missing data in patient registries: Addendum to registries for evaluating patient outcomes: A user’s guide. 3rd ed. 2018.

8. Zhang Z., Missing data imputation: focusing on single imputation. Ann Transl Med. 2016;4(1):9. Doi: 10.3978/j.issn.2305-5839.2015.12.38.

9. Berisha V. et al. Digital medicine and the curse of dimensionality. NPJ Digit Med. 2021;4(1):153. Doi: 10.1038/s41746-021-00521-5.

10. Sorzano C. O. S., Vargas J., Montano A. P. A survey of dimensionality reduction techniques. 2014. Available from: https://arxiv.org/abs/1403.2877 [Accessed 15 September 2025].

11. van Der Maaten L. J. P., Postma E. O., van Den Herik H. J. Dimensionality reduction: a comparative review. Journal of Machine Learning Research. 2009;(10):1–41.

12. Gnana D. A. A., Balamurugan S. A. A., Leavline E. J. Literature review on feature selection methods for high-dimensional data. International Journal of Computer Applications. 2016;(136):9–17. Doi: 10.5120/ijca2016908317.

13. Benesty J. et al. Pearson Correlation Coefficient, in Noise Reduction in Speech Processing. Springer: Berlin, Heidelberg; 2009, pp. 1–4. Doi: 10.1007/978-3-642-00296-0_5.

14. Craney T. A., Surles J. G. Model-dependent variance inflation factor cutoff values Quality Engineering. 2002;(14):391–403. Doi: 10.1081/QEN-120001878.

15. Tibshirani R. Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological). 1996;(58):267–288. Doi: 10.1111/j.2517-6161.1996.tb02080.x.

16. Dormann C. F. et al. Collinearity: a review of methods to deal with it and a simulation study evaluating their performance. Ecography. 2013;(36):27–46. Doi: 10.1111/j.1600-0587.2012.07348.x.

17. Aziz R., Verma C., Srivastava N. Dimension reduction methods for microarray data: a review. AIMS Bioengineering. 2017, pp. 179–197. Doi: 10.3934/bioeng.2017.1.179.