Переоптимизация: как распознать подгонку
Переоптимизация выбирает параметры, слишком точно объясняющие просмотренное прошлое, без подтверждения на новых данных.
Суть и границы понятия
Переоптимизация выбирает параметры, слишком точно объясняющие просмотренное прошлое, без подтверждения на новых данных.
Для практического разбора рядом полезны Переобучение и подбор параметров и Walk-forward: последовательная проверка: они уточняют связанные условия и ограничения.
Как это работает
Число попыток включает ручные фильтры, выбор тикеров, начало периода и цели. Если в отчёт попал только победитель, его привлекательность скрывает процедуру поиска. Даже полностью корректные сделки не исправляют эту статистическую проблему.
Сравнивают устойчивость соседних параметров и последующие периоды, сохраняя неудачные варианты. Но после многократного просмотра каждого следующего года вся история становится разработкой. Для новой версии нужен ещё не использованный отрезок.
Определения и параметры: scikit-learn: временное разделение и gap. Формулы и выводы по иллюстрации рассчитаны отдельно и раскрыты ниже.
Реальный пример
Что показывает пример
На реальных GAZP сравниваются семь заранее перечисленных периодов SMA. Событие: close пересёк SMA вверх; условный вход — следующий open, выход — close восьмого следующего бара, без расходов; события не перекрываются.
Различие результатов показывает чувствительность к параметру и периоду. Лучший столбец 2024 не объявляется универсальным победителем;2025 также уже просмотрен в этой иллюстрации и не является новой независимой проверкой.
Источник и параметры примера
SMA5/10/20/30/50/80/100, сигнал закрытого дня, entry open[i+1], exit close[i+8], одна условная позиция; среднее по всем событиям каждого года, без издержек.
Наблюдение на истории не является гарантией будущего результата.
Как применять
- Вести журнал вариантов и причины изменений.
- Выбирать простые проверяемые гипотезы.
- Не менять правило по отдельной ошибке финальной проверки.
Подводные камни
- Резкий узкий пик может быть случайностью.
- Небольшое число оставшихся сигналов увеличивает неопределённость.
- Скрытый подбор рынка тоже является оптимизацией.
- Высокая уверенность обученной модели не устраняет подгонку.
Что проверить перед решением
- Что именно измеряется и в каких единицах?
- Какие данные были доступны в момент решения, а что появилось позднее?
- Какие расходы, ограничения исполнения или исключения меняют вывод?
- Где заканчивается наблюдение и начинается непроверенная гипотеза?
- Вести журнал вариантов и причины изменений.
Частые вопросы
Как отличить от полезной настройки?
Нужны временная дисциплина, учёт числа попыток и новая проверка, а не только высокая прошлая прибыль.
Достаточно ли сменить нейросеть?
Нет; процедура выбора важна для любого семейства моделей.
Связанные понятия
Источники и параметры данных
Источник и единицы именно этой иллюстрации указаны в раскрывающемся блоке под ней. Доступны CSV и JSON с правилами расчёта и контрольной суммой. Реальные котировки, нормативные значения и условные сценарии различаются в подписи; расчётный пример не выдаётся за совершённую сделку или полноценную проверку стратегии. Правила и параметры инструментов могут меняться; для решения нужна редакция, действующая на дату операции.