Естественное желание большинства тех, кто следует системам, просто сфокусировать внимание на нижнем уровне производительности. Мы зарабатываем деньги или теряем деньги? Проблема этого логичного подхода к нижней границе заключается в том, что все системы периодически теряют деньги, так что только очевидно ненормальный убыточный период достаточно серьезно обеспокоит нас. К этому моменту может быть уже слишком поздно. Чтобы этого не случилось, нам надо разработать информативный и объективный набор предопределенных критериев, не относящихся к нижней границе, которые могут предупредить нас о возможных проблемах задолго до того, как возникнут серьезные убытки.
Представьте типичную ситуацию, когда система показала скромный доход на самом обычном месяце торговли. Пока все неплохо. Более пристальное рассмотрение может показать, что в течение месяца произошло 14 торгов и только 2 из них были успешными. К счастью для нас, доходы от двух успешных торгов перекрыли расходы по 12 убыточным. Это хороший пример того, как просто анализ нижней границы может нас подвести. В конце концов, это был прибыльный период, так зачем беспокоиться? Следует ли нам быть озабоченными фактом, что только два из 14 недавних торгов были выигрышными? Может да. А может нет.
Чего нам следует ожидать в смысле отношения выигрышей к проигрышам? Являются ли два выигрыша из 14 торгов чем-то, что мы можем ожидать время от времени, или это предупреждение о том, что наша система, возможно, поползла по швам? Мы должны быть подготовлены к такой ситуации и, что еще более важно, должны иметь возможность рассмотреть ее в перспективе. Как насчет активности за последний месяц? Было ли 14 торгов больше того, что мы могли бы ожидать? Это нормально или ненормально? Какова вероятность продолжения такого соотношения активности?
Как видите, слежение за системой требует большей работы, чем просто случайный взгляд на нижнюю границу производительности. Мы должны произвести всестороннюю оценку, тщательно все обдумать и затем попытаться составить некоторые стандарты ожидаемой производительности, чтобы получить что-то для сравнения с нашей текущей производительностью.
Исторические тесты на производительность
Лучшим способом разработки указателей, по которым мы будем оценивать нашу текущую производительность, будет аккуратный сбор существенных данных по производительности в то время, когда мы еще находимся на этапе тестирования нашей системы на исторических данных. Данные, полученные при тестировании, можно будет затем сравнивать с текущими данными торговли в реальном времени.
В качестве неотделимой части процесса слежения важно иметь возможность определить источник проблемы после того, как мы были заранее предупреждены о ее возможном появлении. Возвращаясь к нашему примеру с 14 торгами за месяц, было бы очень полезно узнать, что 9 из 12 проигрышных торгов проходили по валюте, и при более близком рассмотрении мы получили три последовательных проигрыша на связанных позициях йены, швейцарского франка и немецкой марки. Более внимательное исследование может вскрыть, что, возможно, имела место интервенция центрального банка или другой неожиданный фактор, который произвел все девять проигрышей на наших различных валютных позициях.
Сейчас особенно важно знать, что наш прошлый опыт и тестирование показали, что мы можем ожидать пять последовательных проигрышей по валюте, и что три проигрыша кряду не является неожиданным событием. Знание этого приведет нас к заключению, что по существу не было ничего плохого во входах и выходах системы. Мы также можем решить, что неразумно иметь множество валютных позиций одновременно на одной стороне рынка. Если наши исторические данные показывают, что мы могли ожидать 5 проигрышей кряду при торговле одной валютой, то мы должны быть готовы к 15 проигрышам кряду при торговле тремя валютами в одном направлении. Оказывается, проблема больше связана с выбором портфеля и ассортимента, чем с заданием рыночного времени.
Следующие статистические исследования должны быть проведены над историческими данными и затем применены к текущим действиям. Вы можете найти полезным собрать среднее или нормальное ожидание для каждого статистического исследования и отметить диапазон экстремумов, таким образом, вы сможете быстро перенести цифры на будущее. Например, наши исторические данные по казначейским обязательствам могли бы выглядеть следующим образом:
· Частота торгов за период - в среднем 1,5 торгов в месяц, с экстремумами от 0 до 5 торгов в месяц (худшие случаи на тестах и в реальном времени).
· Процент выигрышей по отношению к проигрышам = в среднем 32 процента выигрышей, при I выигрыше из 8 торгов на худшем периоде и 6 выигрышах из 7 торгов на лучшем периоде.
· Самый длинный ряд последовательных проигрышей =7. Последовательных выигрышей = 5.
· Средний выигрыш за прибыльную торговлю = S1420. Максимальный выигрыш = $5330.
· Средняя проигрышная торговля = $490. Самый большой проигрыш = $2700.
· Самый большой убыток по счету при торговле казначейскими обязательствами = $7880.
· Время, необходимое, чтобы оправиться от наибольшего убытка = 11 месяцев.
· Самый продолжительный период для создания нового пика на счете при торговле казначейскими обязательствами = однажды прошел 21 месяц без того, чтобы появился новый пик на счете.
Это лишь небольшой пример из большого разнообразия данных, которые могли бы оказаться полезными при слежении за системой. Вы могли бы улучшить и расширить это список своими собственными мыслями о том, что вам хотелось бы знать. Сбор и поддержание этих данных кажется большой работой, и так оно и есть. Но работа самой торговой системы должна быть практически целиком механической, так что ваше свободное время может быть потрачено на объективный мониторинг системы вместо простого наблюдения за процессом торговли.
Наблюдение за системой без заранее определенных целей этого наблюдения приводит трейдеров к нахождению поводов переписывания системы или ее изменения без объективной необходимости. Большинство трейдеров имеет склонность совершать ошибки, внося слишком большое количество неоправданных изменений в их систему после серии убытков. Убытки могут хорошо укладываться в диапазон нормального ожидания или быть вызванными фактором, который не является виной системы. Большинство трейдеров никогда не беспокоятся об определении нормальной и ненормальной производительности (за исключением нижней границы результатов), и, таким образом, паника часто возникает тогда, когда для нее нет оснований. Давайте вернемся и взглянем с другой стороны на тот месяц, когда мы заработали немного денег, но получили только два выигрыша из 14 торгов. Предположим, наш тщательный анализ показал следующее: из 12 проигрышей, 6 были последовательными убытками на казначейских обязательствах в то время, как остальные шесть были распределены между пятью различными рынками. Очевидной проблемой оказываются совокупные потери от убыточных торгов казначейскими обязательствами, которые составили в общей сложности $2400 (в среднем по $400 на торговлю с максимальным убытком в $850).
Внимательный взгляд на данные говорит нам, что количество торгов по казначейским обязательствам за месяц (шесть) было ненормальным и фактически установило новый экстремум, превзойдя предыдущий экстремум в 5 торгов за месяц. Однако общий убыток ($2400) равно как и средний убыток ($400) были невелики по сравнению с ранее собранными данными. Максимальный проигрыш в последовательности ($850) не был экстремумом. Шесть последовательных проигрышей не были экстремумом, но приблизились к нему. Вывод: мы прошли через очень необычный период в торговле казначейскими обязательствами, который привлек пристальное внимание, но мы не стали бы заменять торговую систему на этом месте. Мы пополнили наш интервал ожиданий в торговле казначейскими обязательствами и сейчас имеем шесть торгов в месяц в качестве экстремума активности. Уровень активности должен отслеживаться внимательнее (не дожидайтесь конца месяца, а то потом мы окажемся перед 12 последовательными проигрышами). Если необычно высокий уровень активности сохранится, мы попытаемся понять, нет ли фундаментальной причины, которая привела бы нас к убеждению, что такая мясорубка была лишь временным фактором, который исчезнет сам собой. Если окажется, что проблема заключается в самой системе, мы, возможно, захотим использовать более медленные индикаторы или добавить элемент подтверждения к торговле казначейскими обязательствами в попытке сократить активность и дергания.
