Эффективность бэктестинга

Специалисты Quantopian доказали опытным путем низкую эффективность бэктестинга алгоритмических стратегий.


http://fomag.ru/ru/news/NewsDetails.aspx?bid=66&news=10384

Именно так, я уже давно говорю об этом на всех своих публичных выступлениях. Бэктестинг можно использовать как фильтр, что НЕ будет работать. Но по поводу того, что БУДЕТ работать, он не дает инфомации. Для понимания этого никакой математики недостаточно, нужно понимать рынок.






10 комментариев

avatar
К сожалению, люди путают алгостратегии и HFT. Но в любом случае, на мой взгляд, Вы абсолютно правы — контекст рулит. Например, мне жалко сейчас тех, кто строит свои стратегии на привычной и казалось бы незыблимой в веках, описанной во всех учебниках, обратной корелляции доллара и сиплого :) Могу себе представить, как их роботы сейчас сливают депозиты )))
avatar
Эта новость — обычная журналистская ложь. В статье сравнивают разные методы, и в том числе говорят о том что  
volatility and maximum drawdown, as well as portfolio construction features, like hedging, show significant predictive value of relevance to quantitative finance practitioners.… Finally, we show that by training non-linear machine learning classifiers on a variety of features that describe backtest behavior, out-of-sample performance can be predicted at a much higher accuracy (R² = 0.17) on hold-out data compared to using linear, univariate features.

Вообще то "show significant predictive value" переводится как "показывают значительную предсказательную силу" а не «низкую эффективность бэктестинга» в целом.
avatar
Бэктест — это инструмент анализа и понимания рынка.
avatar
А разве существует хоть одна работающая стратегия с параметрами, которые получены каким-то иным путём, нежели бэктестинг? Не обязательно это должен быть заскриптованнный алгоритм и бэктестинг в wealth lab, например. Все стратегии так или иначе испытываются на истории.
avatar
Тест живыми деньгами: минимальный объем или лот.
avatar
Ага! Только сразу же, как ты запускаешь стратегию в работу, «Тест живыми деньгами: минимальный объем или лот» превращается в бэктестинг, поскольку период тестирования- это уже история
avatar
Согласен,  но этот тест значительно качественей чем графические фантазии 
avatar
Зато не такой глубокий. Если роботов использовать, то именно графические фантации, причем как можно глубже.
avatar
Эксперты говорят, что альтернативой традиционному бэктесту может стать применение процедур машинного обучения, в ходе которых используется так называемая перекрестная проверка (кросс-валидация)
Кто понял о чем речь? :)
avatar
Это бек-тест и форвард-тест упакованый сразу в одну коробку. Идея отличная, но как и все инструменты, нужно уметь правильно применить. Если неправильно применить, то вместо снижения оверфиттинга получим то же самое, но более вычурно.

Добавить комментарий