By this author

The function restoration method by integrals for analysis and forecasting of rare events in the economy

Issue 3 from 04.09.2020

В статье рассматривается метод анализа редких событий, который базируется на изучении процессов, порождающих эти события.  В экономике самым распространенным процессом образования событий являются процессы потребления или накопления возмущения, которые можно моделировать как процесс опустошения/наполнения «емкости». Параметром процесса образования событий будет нестационарная функция скорости опустошения/наполнения емкости, которую можно восстановить из имеющихся данных. После этого с ней можно проводить необходимые для исследователя действия (анализировать и экстраполировать функцию, построить модель, получить прогноз будущих событий) и cнова запустить процесс образования событий. Такой метод исследования редких событий мною был назван емкостным методом. Для восстановления функции скорости опустошения/наполнения/ емкости в статье приведена оптимизационная задача в виде нахождения специального сглаживающего интегрирующего кубического сплайна. Получены формулы в матричном виде для восстановления (регрессии) искомой функции. Так как интервалы между событиями, как правило, могут быть разными, следует переходить к базисным сплайнам (B-сплайнам), которые не зависят от исходных данных. Получены формулы в матричном виде для построения соответствующего B-сплайна. Подробно показано, как следует заполнять такие матрицы. Приведен пример использования математического метода восстановления функции по данным редких событий и получения прогноза будущих событий.

1387 27

Determination of parameters for the formation process of rare events in the economy for their subsequent forecasting

Issue 2 from 18.06.2022

В статье представлен метод определения неизвестных параметров процесса, формирующего редкие события в экономике. Редкие события рассматриваются не со статистической точки зрения, а с точки зрения процессов, которые образуют эти события. Причем процесс образования редких событий может быть задан произвольным алгоритмом. Такой процесс также будет использовать неизвестные параметры, которые могут быть не только статическими, но и динамическими. Например, если рассматривать процесс потребления, в результате которого образуются дискретные покупки неподконтрольными нам покупателями, то такими параметрами могут быть максимальный запас и динамически изменяющаяся скорость потребления. В общем виде процесс может быть произвольным и его могут описывать различные параметры. Задача состоит в нахождении этих неизвестных параметров процесса, ориентируясь только на выборку редких событий. Идея метода — минимизация функции потерь, которая определяется на основе различий между событиями, образованными в результате функционирования модели процесса, и событиями из исходной выборки наблюдений. Каждое событие, помимо времени появления, характеризуется еще и дополнительной информацией, например объемом покупки. Необходимо найти такие значения параметров процесса, которые позволяли бы получить очень похожую выборку событий. Динамические параметры процесса задаются в виде кубических сплайнов особой структуры. Для однозначного описания каждого динамического параметра в целевую функцию вносится штраф за чрезмерную гладкость (шероховатость) соответствующих сплайнов. Приведен пример процесса и структура его параметров, подлежащая определению. Оптимизация происходит численными методами, за основу берется алгоритм Нелдера–Мида, который запускается на сетке, чтобы найти глобальный оптимум. Параметры процесса определяются по шагам, в начале только чтобы получить несколько событий, необходимых для продолжения расчетов, потом следующая группа событий и т.д., это позволяет большую оптимизационную задачу разбить на последовательность простых задач, что существенно снижает общую трудоемкость.  Описано предположение, которое должно соблюдаться, чтобы такой прием был справедлив. Рассмотрен пример выявления неизвестных параметров на примере процесса потребления. Определив параметры процесса, можно переходить к экстраполяции и осуществлять прогноз будущих событий.

507 11

Common mistakes in using machine learning when forecasting events and a new approach based on models of the event formation mechanisms

Issue number 1 from 19.09.2025

Обсуждаются распространенные ошибки, допускаемые исследователями при прогнозировании событий с помощью моделей на основе машинного обучения. Такими ошибками являются: потеря самих событий, вследствие конструирования абстрактных признаков; обучение моделей происходит по клиентам, а не по событиям от клиентов; конструирование искусственных признаков; неправильная валидация и ошибочные метрики качества модели; используются статичные параметры. Приведен разбор совершенных ошибок одного примера с Kaggle. Площадь под ROC-кривой у такого примера очень высокая — 0,88. Однако эта метрика качества рассчитана некорректно. После исправления всех ошибок корректная метрика оказалась 0,599. Представлен иной подход к анализу и прогнозированию событий, который значительно отличается от классических методов машинного обучения. Метод основан на рассмотрении индивидуальных механизмов образования событий для каждого клиента. Строятся модели таких механизмов. Математическими методами восстанавливаются параметры моделей этих механизмов образования событий. Параметры экстраполируются на будущее. Прогноз будущего события получается в результате функционирования модели механизма с установленными значениями параметров. Метрика качества модели, площадь под кривой ROC, составила 0,615, что немного больше, чем в рассматриваемом примере с Kaggle, основанном на машинном обучении. Тем самым показано, что предложенный подход является конкурентным для передовых методов машинного обучения.

45 0