Распространенные ошибки использования машинного обучения при прогнозировании событий и новый подход на основе моделей механизмов образования событий

Кораблев Юрий А.; Судаков В. А.

doi:10.31857/S0424738825010039

Главная>Номер выпуска 1>Распространенные ошибки использования машинного обучения при прогнозировании событий и новый подход на основе моделей механизмов образования событий

Распространенные ошибки использования машинного обучения при прогнозировании событий и новый подход на основе моделей механизмов образования событий

Оглавление

Аннотация Оценить Содержание публикации

Библиография Комментарии

Аннотация

Код статьи

S0424738825010039-1

DOI

10.31857/S0424738825010039

Тип публикации

Статья

Статус публикации

Опубликовано

Авторы

Кораблев Юрий Александрович Связаться с автором

Аффилиация: Финансовый университет при Правительстве Российской Федерации (Финуниверситет)

Судаков В. А.

Аффилиация: Федеральный исследовательский центр «Институт прикладной математики им. М. В. Келдыша» РАН

Выпуск

Том 61 Номер выпуска 1

Страницы

25-37

Аннотация

Обсуждаются распространенные ошибки, допускаемые исследователями при прогнозировании событий с помощью моделей на основе машинного обучения. Такими ошибками являются: потеря самих событий, вследствие конструирования абстрактных признаков; обучение моделей происходит по клиентам, а не по событиям от клиентов; конструирование искусственных признаков; неправильная валидация и ошибочные метрики качества модели; используются статичные параметры. Приведен разбор совершенных ошибок одного примера с Kaggle. Площадь под ROC-кривой у такого примера очень высокая — 0,88. Однако эта метрика качества рассчитана некорректно. После исправления всех ошибок корректная метрика оказалась 0,599. Представлен иной подход к анализу и прогнозированию событий, который значительно отличается от классических методов машинного обучения. Метод основан на рассмотрении индивидуальных механизмов образования событий для каждого клиента. Строятся модели таких механизмов. Математическими методами восстанавливаются параметры моделей этих механизмов образования событий. Параметры экстраполируются на будущее. Прогноз будущего события получается в результате функционирования модели механизма с установленными значениями параметров. Метрика качества модели, площадь под кривой ROC, составила 0,615, что немного больше, чем в рассматриваемом примере с Kaggle, основанном на машинном обучении. Тем самым показано, что предложенный подход является конкурентным для передовых методов машинного обучения.

Ключевые слова

анализ событий прогноз событий машинное обучение ошибки моделей механизм образования событий восстановление параметров сплайновая коллокация сглаживающий сплайн монотонный сплайн качество прогноза валидация

Классификатор

Получено

15.04.2025

Всего подписок

Всего просмотров

Оценка читателей

0.0 (0 голосов)

Цитировать Скачать pdf Скачать JATS

ГОСТ	Кораблев Ю. А. , Судаков В. Распространенные ошибки использования машинного обучения при прогнозировании событий и новый подход на основе моделей механизмов образования событий // Экономика и математические методы. – 2025. – T. 61. – Номер выпуска 1 C. 25-37 . URL: https://emmras.ru/s0424738825010039-1/?version_id=105897. DOI: 10.31857/S0424738825010039
MLA	Korablev, Yuri, Sudakov, V. A "Common mistakes in using machine learning when forecasting events and a new approach based on models of the event formation mechanisms." Economics and the Mathematical Methods. 61.1 (2025).:25-37. DOI: 10.31857/S0424738825010039
APA	Korablev Y., Sudakov V. (2025). Common mistakes in using machine learning when forecasting events and a new approach based on models of the event formation mechanisms. Economics and the Mathematical Methods. vol. 61, no. 1, pp.25-37 DOI: 10.31857/S0424738825010039

Библиография

1. Ехлаков Р. С., Судаков В. А. (2022). Прогнозирование стоимости котировок при помощи LSTM и GRU сетей // Препринты ИПМ им. М. В. Келдыша. № 17. 13 с. DOI: 10.20948/prepr-2022-17 [Ekhlakov R. S., Sudakov V. A. (2022). Forecasting the cost of quotes using LSTM & GRU networks. Preprints of IAM after M. V. Keldysh, 17. 13 p. (in Russian).]

2. Кораблев Ю. А. (2022). Об одном алгоритме восстановления функции по разным функционалам для прогнозирования редких событий в экономике // Финансы: теория и практика. № 3 (26). С. 196–225. DOI: 10.26794/2587-5671-2022-26-3-196-225 [Korablev Yu.A. (2022). An algorithm for restoring a function from different functionals for predicting rare events in the economy. Finance: Theory and Practice, 3 (26), 196–225 (in Russian).]

3. Кораблев Ю. А. (2023). Емкостный метод анализа и прогнозирования редких событий в экономике: монография. М.: РУСАЙНС. 296 с. ISBN: 978-5-466-04159 [Korablev Yu.A. (2023). Capacity method of analysis and forecasting of rare events in the economy. Moscow: RUSCIENS. 256 p. (in Russian).]

4. Craven P., Wahba G. (1978). Smoothing noisy data with spline functions — estimating the correct degree of smoothing by the method of generalized cross-validation. Numerische Mathematik, 31 (4), 377–403. DOI: 10.1007/BF01404567

5. Friedman J. (1999). Greedy function approximation: A gradient boosting machine. Technical Report. Deptartment of Statistics. Stanford University.

6. Friedman J. (2001). Greedy function approximation: A gradient boosting machine. The Annals of Statistics, 5 (29), 1189–1232. DOI: 10.1214/aos/1013203451

7. Golub G. H., Heath M., Wahba G. (1979). Generalized cross-validation as a method for choosing a good ridge parameter. Technometrics, 21 (2), 215–223. DOI: 10.1080/00401706.1979.10489751

8. Hansen P. C. (1992). Analysis of discrete ill-posed problems by means of the L-curve. SIAM Review, 34 (4), 561–580. DOI: 10.1137/1034115

9. Hansen P. C. (2001). The L-curve and its use in the numerical treatment of inverse problems. In: P. Johnston (ed.). Computational inverse problems in electrocardiology. Advances in Computational Bioengineering. Southampton: WIT Press.

10. Korablev Yu.A. (2022). Restoration of function by integrals with cubic integral smoothing spline in R. ACM Transactions on Mathematical Software, 48 (2), 1–17. DOI: 10.1145/3519384 ISSN: 0098-3500

11. Nagesh S. C. (2022). Predict customers probable purchase. Kaggle. Available at: https://www.kaggle.com/code/nageshsingh/predict-customers-probable-purchase

12. Nelder J. A., Mead R. (1965). A simplex method for function minimization. The Computer Journal, 4 (7), 308–313. DOI: 10.1093/comjnl/7.4.308

13. Quinn B. G., Fernandes J. M. (1991). A fast efficient technique for the estimation of frequency. Biometrika, 3 (78), 489–497.

14. Quinn B. G., Hannan E. J. (2001). The estimation and tracking of frequency. Cambridge: Cambridge University Press. 278 p.

Библиография

Комментарии

Войти через