自作EAのこれまでとこれから -Cradle-
どうもー、miccoです。
前回は Rhinoの成績について検証してみました。
前回の記事はこちら→「自作EAのこれまでとこれから -Rhino-」
今回は Cradleのリアルフォワードとバックテストの比較をしてみました。
Cradle
Cradleのリアルフォワードは Rhinoと同時に計測を開始したので 2年1カ月が経過しました。
2020/01/05から Axiory nano口座で計測しています。
公開しているリアルフォワードの2022/02/06までの成績です。
これを QAで分析したものが以下のキャプチャです。
前回の Rhinoの時もそうですが、1カ月ほど前にこれまでの成績をまとめようと思い付いてキャプチャして、その際に同期間バックテスト等も行ったため素材がその時点のものです。なかなか時間が取れず記事としてまとめることができず今のタイミングになってしまいました。
主だった項目を表にまとめました。
RFについては 利益pips ÷ MAXDDpips で算出した数値を採用しています。
次に、リアルフォワードと同期間のバックテストの結果です。
バックテストの環境は前回記事の Rhinoの検証と同様です。
まず、Dukascopyのティックデータを使った同期間バックテストの結果です。
次に、Axiory nano口座のティックデータを使った同期間バックテストの結果です。
これらの主だった項目を表にして比較してみました。
取引回数についてはほぼ同等です。利益については、Real Forward > Dukas Tick > Axiory Tick となっています。どちらのティックデータを使ったバックテストよりもリアルフォワードの方が良い結果となっています。勝率については、Axiory Tickが少し低いものの横並びです。MAXDDについては、Real Forwardが頭一つ抜けて悪い結果となっています。そのため、RFが両バックテスト結果と比較して10分の1程度の数値となっています。Ave.Win/Ave.Loseについては同程度の様です。
これらの損益曲線を比較してみたのが次の画像です。
上から Real Forward、Dukas Tick、Axiory Tickとなっています。
これら損益曲線の形状をパッと見で比較した印象としては似ている様に見えます。ですが、左から順に眺めていくと一方ではトレードしているのに対して他方ではノートレードであったり、同時期に全く異なるトレード結果になっていたりする場面が散見されます。つまり、ブローカー差が著しいということがわかります。Twitterのタイムラインで見かける Cradleのトレード結果ツイートの相違はこういった場面に表れているのだろうと思います。
また、バックテストにはスリッページを考慮していないので、より不利な条件下でのトレードをしていたのは Real Forwardであったにもかかわらず、これらの中で Real Forwardが最も良い成績となっているという事は、Axiory nanoのリアル口座で行うトレードがバックテストよりも優位であったということがわかりました。とは言え、2021/10/28から始まったドローダウンは両者とも同様で、想定されていたMAXDDをほぼ一直線に下抜けています。
次に、リアルフォワード計測開始前の直近10年間のバックテストの結果と、リアルフォワードを含む直近2年間の成績を比較してみました。バックテストの環境は前述と同じです。
直近10年間バックテストのキャプチャは次のとおりです。
主だった項目を表にして、先ほどの結果と比較してみました。
取引回数、利益、RFについては10年間のバックテストを他の結果と同期間に補正するために「25カ月（2年1カ月）÷ 120カ月（10年）」を掛けて比較しています。
圧倒的です。圧倒的に直近10年間のバックテストの結果の方が良いです。直近2年の成績が唯一バックテストの結果に勝っている項目が RRです。バックテストの成績の推移がこの先も続くだろうという考えでリアルフォワードを開始、あるいはEAの運用を開始するものですが、改めて現時点をこの表で比較するとバックテスト後の直近2年の成績が圧倒的に悪いです。
敗因としては、リアルフォワードでは2020年4月から2021年9月までの17カ月の間、月ベースで17連勝を記録してみせたものの、その後から始まったドローダウンが大きすぎることだと考えています。
そこで、このドローダウンの予兆をキャッチできたかについて検証しました。
方法としては”勝率と連敗数に着目”してみました。
上記の直近10年間のバックテストの結果から Cradleが持つ勝率は 77.58%です。相場がランダムに推移する以上、単純に計算通りとはなりませんが、勝率から確率統計的に想定される連敗数を目安として計算すると「EAの勝率から想定される最大連敗数は 4回」となります。
ここでリアルフォワードを遡って連敗数をカウントすると、リアルフォワード計測を開始してから初めて 2021/10/18～10/26に 4連敗していることがわかりました。その後、これまでのトレードでは無かった「4連敗」が頻繁に訪れます。2021/11/03～11/08 4連敗、2021/11/18～12/01 4連敗、2021/12/24～2022/1/18については8連敗となっています。
前述のとおり、現在のドローダウンが始まった最初の負けトレードは 2021/10/18です。これが偶然か必然かは判然としませんが、EAの不調の兆しを勝率から推測することができたのかもしれません。
最後に、直近10年間のバックテストの結果を基にブートストラップ法を用いて Cradleのフォワード推移を予測してみました。
以下がブートストラップ法を用いた Cradleのフォワード推移予測です。
上下の緑色の破戦が直近10年間のバックテストの結果から得た95%信頼区間の上下限で、赤色の実線がリアルフォワードの損益曲線です。リアルフォワードの損益曲線がこの上下限の間に収まっている間はバックテストの結果に沿ってトレードできていると判断することができます。逆に、損益曲線が上下限の上でも下でも範囲外に出た場合はバックテストの想定外の動きをしているという事ですので注意が必要です。
下限を割った時点で即終了というわけではなく、例えばCradleのリアルフォワード開始直後のコロナ相場の頃にも一度下限を割っており、その後戻って来ている様に再度範囲内に戻って来て好成績を残すこともあります。
では現在の Cradleはというと、ご覧のとおり信頼区間の下限を完全に割っています。下限を割ったのは 2021/11/08の週末持ち越しのポジションを月曜日に損切りした -31.8pipsのトレードだった様です。そこから回復の兆しも無く現在に至ります。
このドローダウンは何が起因して始まったのかはわかりません。
リアルフォワード開始からドローダウンが始まる2021年10月までの1年10カ月の間はブローカー差こそあれど、ある程度想定されたパフォーマンスだったと思います。既にコンパイルされた Cradleのロジックが変わる事はありませんので、変わったものと言えば相場が過去10年間には無かった値動きになったということくらいですが…判然とはしません。ですが、現状Cradleのロジックが通用しなくなっているということはわかりました。この先、再び通用する様になるかどうかはわかりません。
再度範囲内に戻ってくる可能性について前述しましたが、現状の Cradleの下回りぶりを見る限り、ここまで下限から離れすぎていては範囲内に戻って来る可能性は低いだろう、あるいは戻って来るとしても相当の時間経過が必要だろうと考えています。
まとめ
ここまで Cradleのこれまでとこれからを検証しました。
まず、前述のとおり現在フォワード推移予測においてリアルフォワードの損益曲線が信頼区間の下限を大きく下回っています。
また、勝率から想定される最大連敗数が何度も繰り返しています。
そして、Cradleをリリースする際に提示した直近10年間のバックテストから MAXDDは287.4pipsだったので、予め許容するMAXDDをその2倍の574.8pipsと想定しており、2022/2/11の -61.3pipsによりリアルフォワードのMAXDDがこれを越えました。
上記 3点を根拠に、Cradleのロジックは現在の相場に通用していないと判断します。
17カ月連勝中に勝ち過ぎているので気を付けていただく様に注意喚起はしていたつもりですが、今回の検証の様な具体的な根拠をもってお伝えできていればと悔やんでいます。申し訳ありません。
Twitter界隈で Cradleを使用していただいている方の一人、小野さん(@damage2525)の成績報告ツイートを遡ると、2021年12月中旬頃には Cradleの不調を察知して稼働を停止されており、流石だなーと思いました。普段からご自身の EA運用成績を報告されておりとても参考になります。今後も参考にさせていただきたいと思います。
以前「MAXDDの2倍を超えたらフォワード計測を止める」とツイートしたのですが、やはり Cradleを開発した者として、初期証拠金が尽きてエントリーが出来なくなるまでリアルフォワード計測については今後も継続しようと考えています。
Cradle開発当時の自分が考え得る全てを注いで挑んだ結果ですし、リアルフォワードの公開や記事についても、生き恥を晒す様で少し抵抗はありますが公開したままにします。これだけ拘って開発してもダメな時はダメという、良くも悪くもいい事例にはなると思います。
次回は「MATILDAのこれまでとこれから」です。
通貨ペアごとの検証となるので少し時間がかかると思いますm(_ _)m
では^^
