Переобучение и подбор параметров
Переобучение возникает, когда правило использует особенности просмотренной выборки, которые не сохраняются в новых данных.
Суть и границы понятия
Переобучение возникает, когда правило использует особенности просмотренной выборки, которые не сохраняются в новых данных.
Для практического разбора рядом полезны Walk-forward: последовательная проверка и Бэктест: они уточняют связанные условия и ограничения.
Как это работает
Перебор периодов, фильтров, инструментов и целей увеличивает шанс найти случайно красивый результат. Ручное изменение правил после каждого неудачного примера является таким же поиском, как автоматическая оптимизация.
Особенно опасно оценивать победителя на той же истории, на которой его выбирали. Даже честный расчёт сделок не исправляет ошибку процедуры выбора. Нужно сохранять число попыток, разумную простоту и последующие временные проверки.
Проверка чувствительности помогает отличить узкий пик параметра от широкого устойчивого диапазона, но сама тоже исследует данные. Ни один отдельный график устойчивости не гарантирует будущего преимущества.
Определения и параметры: scikit-learn: временное разделение и gap. Формулы и выводы по иллюстрации рассчитаны отдельно и раскрыты ниже.
Реальный пример
Что показывает пример
На реальных GAZP сравниваются семь заранее перечисленных периодов SMA. Событие: close пересёк SMA вверх; условный вход — следующий open, выход — close восьмого следующего бара, без расходов; события не перекрываются.
Различие результатов показывает чувствительность к параметру и периоду. Лучший столбец 2024 не объявляется универсальным победителем;2025 также уже просмотрен в этой иллюстрации и не является новой независимой проверкой.
Источник и параметры примера
SMA5/10/20/30/50/80/100, сигнал закрытого дня, entry open[i+1], exit close[i+8], одна условная позиция; среднее по всем событиям каждого года, без издержек.
Наблюдение на истории не является гарантией будущего результата.
Как применять
- Зафиксировать исходную гипотезу и журнал всех испытанных версий.
- Ограничить число степеней свободы и сравнить с простыми базами.
- После выбора отложить новую проверку и не менять правила по её отдельным ошибкам.
Подводные камни
- Выбор только лучших тикеров скрывает подбор универсума.
- Маленькая выборка после многочисленных фильтров может быть случайной.
- Использование теста для выбора порога превращает его в валидацию.
- Сложная модель способна уверенно выдавать неверные вероятности.
Что проверить перед решением
- Что именно измеряется и в каких единицах?
- Какие данные были доступны в момент решения, а что появилось позднее?
- Какие расходы, ограничения исполнения или исключения меняют вывод?
- Где заканчивается наблюдение и начинается непроверенная гипотеза?
- Зафиксировать исходную гипотезу и журнал всех испытанных версий.
Частые вопросы
Помогает ли больше индикаторов?
Не само по себе: растёт число вариантов и риск объяснить прошлый шум.
Нужно ли публиковать неудачные проверки?
Да, их учёт необходим для понимания процедуры выбора и реальной неопределённости.
Связанные понятия
Обратные связи: Технический анализ, Уровни Фибоначчи, Скользящая средняя.
Источники и параметры данных
Источник и единицы именно этой иллюстрации указаны в раскрывающемся блоке под ней. Доступны CSV и JSON с правилами расчёта и контрольной суммой. Реальные котировки, нормативные значения и условные сценарии различаются в подписи; расчётный пример не выдаётся за совершённую сделку или полноценную проверку стратегии. Правила и параметры инструментов могут меняться; для решения нужна редакция, действующая на дату операции.