Erst testen, dann traden - Interview mit Johann Chr. Lotter

Interview mit Johann Christian Lotter, CTO bei oP group Germany

‍

Herr Lotter, sind sich Videospiele und Trading wirklich so ähnlich, dass man eine bestehende Entwicklungsplattform von einem Bereich auf den anderen adaptieren kann?

Lotter: Bevor ich damals mit unserem Investor sprach, hatte ich überhaupt keinen Kontakt zu Börsenthemen. Deshalb war ich schon etwas verwundert, als wir hörten, dass sich diese beiden Bereiche angeblich sehr ähnlich sind. Tatsächlich hat sich das aber bewahrheitet.

Man kann es sicherlich positiv wie auch negativ sehen, dass es hier so viele Parallelen gibt. Da Sie aber selbst kein Trader sind, stand von Vornherein das Thema Programmierung im Vordergrund. Wie hat sich das Ganze in den letzten zehn Jahren entwickelt?

Lotter: Ich war der Spezialist für schnelle Programmierung, den unser Investor damals suchte. Nach der Entwicklungsarbeit hatten wir zwei Plattformen, eine für Spiele und die andere für Handelsstrategien an der Börse. Uns war dann schnell klar, was mit letzterer zu tun ist: Wir boten die Entwicklung und Programmierung von Strategien als Dienstleistung für institutionelle und private Händler an. Und das war genau die richtige Entscheidung, denn seitdem ist das Geschäft geradezu explodiert. Wir haben bis heute mehr als 1300 Strategien für Kunden getestet. Ich beschäftige inzwischen zwölf freie Mitarbeiter weltweit. Einige von ihnen habe ich noch nicht einmal persönlich getroffen, aber in unserer vernetzten Welt funktioniert das Team trotzdem gut.

Das klingt nach einer Erfolgsstory. Mit welcher Programmiersprache arbeiten Sie?

‍Lotter: Ausschließlich mit C bzw. der Erweiterung C++. Das ist einfach die schnellste Option. Alles andere wie R oder Python funktioniert sicherlich auch, wäre für uns aber ein Umweg, der Effizienz und damit Rechenzeit kosten würde. Dabei ist Geschwindigkeit ja gerade der große Pluspunkt.

Welche Strategien sind bei Ihren Kunden besonders beliebt?

Lotter: Es kommt darauf an, wer der Kunde ist. Im Prinzip gibt es vier Kategorien, was die Methoden angeht. Zum einen modellbasierte Strategien, die vor allem bei institutionellen Anlegern beliebt sind. Hier wird ein Marktmodell vorgegeben, in das gewisse Parameter eingehen, die auf Marktineffizienzen hinweisen und deren Veränderung sich im Zeitablauf auf die erwarteten Kurse auswirkt. Kommt es dabei zu ausreichend großen Abweichungen vom statistischen Zufall, wird entsprechend gehandelt. Klassische Beispiele sind Trendfolge, Mean Reversion, Marktzyklen, statistische Arbitrage oder Hochfrequenzhandel. Eine zweite Methode sind Strategien, die auf Risikoprämien abzielen. Hierzu zählen zum Beispiel Stillhalterstrategien bei Optionen, die über lange Phasen immer wieder kleine Gewinne erzielen, aber hin und wieder auch das stets bestehende Risiko hoher einzelner Verluste realisieren. Diese Strategien werden sowohl von privaten als auch von institutionellen Anlegern nachgefragt. Die dritte Methode ist Data Mining. Darunter versteht man heute vor allem maschinelles Lernen bzw. Deep Learning, was eher im institutionellen Bereich gefragt ist. Man gibt diesen Modellen bestimmte Inputs vor, von denen man erwartet, dass sie die Kurse in irgendeiner Art und Weise beeinflussen, und überlässt es dann dem Computer, darin wiederkehrende Muster zu erkennen. Dazu „trainiert“ man den Algorithmus mit einer Unmenge an Daten. Beispiele sind Orderbuch-, klassische Kurs- oder auch fundamentale Daten. Der Nachteil ist aber, dass diese Strategien eine Black Box sind: Am Ende kommen zwar Signale heraus, aber niemand kann sagen, wie diese genau zustande gekommen sind. Die vierte große Kategorie, die ich „Indikatorsuppe“ nenne, ist unter Privatanlegern die mit Abstand beliebteste. Hier werden verschiedene Indikatoren kombiniert, um Handelssignale zu generieren, ohne dass man dabei auf eine konkrete, erklärbare Ineffizienz am Markt abzielt.

Der Begriff „Indikatorsuppe“ klingt nicht gerade vielversprechend. Wie gut funktionieren solche Ansätze Ihrer Erfahrung nach?

Lotter: Um ehrlich zu sein, hielt ich solche Strategien anfangs für Quatsch. Denn Indikatoren leiten sich schließlich aus Marktdaten ab, also Preisen und Handelsvolumina, und beinhalten damit keine weitergehenden Informationen. Sie sind ganz im Gegenteil nur eine Vereinfachung, die zeitlich häufig auch noch verzögert ist. Doch entgegen meiner anfänglichen Skepsis muss ich zugeben, dass einige dieser Ansätze tatsächlich gut funktionieren, was mich wirklich überrascht hat.

Wie sehen generell die Erfolgsquoten der von Ihnen getesteten Strategien aus?

Lotter: Rund 60 Prozent aller Strategien können auf Grundlage der Backtests grundsätzlich funktionieren. Ich denke, dass das durchaus eine positive Aussage ist, wobei diese Zahl vielleicht sogar höher liegt, als es manche erwarten würden. Allerdings beinhaltet das die erfolgreichen Ansätze der institutionellen Anleger. Von den Strategien der Privatanleger funktioniert dagegen selten etwas besser als der Zufall.

Sie schätzen eine Erfolgsquote von 40 Prozent also positiv ein.

Lotter: Auf jeden Fall. Denn durch die Tests können wir ziemlich sicher sagen, welche Ansätze in der Praxis nicht funktionieren. Zwar müssen die Kunden, die diese Strategien in Auftrag gegeben haben, unsere Arbeit trotzdem bezahlen, sodass man sagen könnte, das Ganze war umsonst. Aber ich sehe das anders: Wenn die Trader wissen, dass es nicht profitabel ist, sparen sie wahrscheinlich eine Menge Geld gegenüber der Alternative, das Ganze in der Praxis auszuprobieren, um das herauszufinden.

Sie berechnen die Kosten für den Test der Strategien also als Auftragsarbeit?

Lotter: Ja, wir legen dafür vorher einen Preis auf Basis des geschätzten Aufwands fest. Dabei ist zu unterscheiden, ob einfach eine bereits feststehende Strategie nur eins zu eins programmiert wird oder ob eine Strategie wirklich zu „entwickeln“ ist, inklusive Optimierungen und so weiter.

Wie gehen Sie bei Ihren Backtests grundsätzlich vor?

Lotter: Etwa neun von zehn klassischen Backtests führen zu falschen oder irreführenden Ergebnissen. Dies ist der Hauptgrund, warum algorithmische Handelssysteme im Live-Trading häufig versagen. Und das müssen wir bei der Strategieentwicklung natürlich berücksichtigen. Wir starten zu Beginn der verfügbaren Daten und testen das Regelwerk auf dem ersten Abschnitt. Dann werden die ermittelten Einstellungen auf einen anderen, ungesehenen Datenzeitraum angewandt. Dieser Prozess wird mehrfach wiederholt. Wir kombinieren also In-Sample- und Out-of-Sample-Datenzeiträume Schritt für Schritt, indem wir diese durch die gesamte verfügbare Datenhistorie „schieben“ (Walk-Forward-Analyse). Dadurch werden viele Probleme wie etwa Überoptimierungen entschärft. Allerdings steckt trotzdem oft noch ein verzerrender Bias in der Strategie, da diese meist schon im Vorfeld aufgrund einer potenziell guten Performance überhaupt zum Test ausgewählt wurde. Selbst mit Out-of-Sample-Daten und Walk-Forward-Analyse liegen die Backtest-Ergebnisse deshalb auf der optimistischen Seite. Man kann also sagen: Die Mehrheit der Handelssysteme mit einem positiven Backtest ist in Wahrheit unrentabel.

Das ist erstaunlich. Was ist die Ursache für die hohe Fehlerquote?

Lotter: Das Problem ist, dass man in einem Backtest selten ein Null-Ergebnis erhält. Eine rein zufällige Handelsstrategie wird in 50 Prozent der Fälle ein negatives und in den anderen 50 Prozent ein positives Ergebnis liefern. Aber wenn das Ergebnis negativ ist, wird oft versucht, den Code zu optimieren, Märkte zu variieren oder andere Zeithorizonte auszuwählen, bis das Ergebnis schließlich „passt“. Irgendwelche dieser zufälligen Änderungen bringen also einen ebenso zufällig besseren Backtest. Deshalb gibt es so viele unrentable Strategien, die im Backtest dennoch sehr gut abschneiden.

Können Sie dieses Problem entschärfen?

Lotter: Weitgehend ja. Dazu wenden wir Methoden zur Überprüfung der Backtest-Ergebnisse an, die wir als Realitätscheck bezeichnen. Ein Beispiel ist der Monte Carlo Reality Check, der kurzfristige Preiskorrelationen und Marktineffizienzen entfernt, aber den langfristigen Trend beibehält. Vereinfacht gesagt werden die Kursdaten bei dieser Methode „verwirbelt“ und dann wieder neu zusammengesetzt (wir ziehen dabei aus den historischen Daten ohne Zurücklegen). So ergibt sich eine neue, künstliche Datenreihe, die sozusagen „zusammen gewürfelt“ wurde. Dann vergleichen wir unser ursprüngliches Backtest-Ergebnis mit den randomisierten Ergebnissen. Daraus ergibt sich ein p-Wert, also eine Kennzahl für die Wahrscheinlichkeit, dass unser Testergebnis durch Zufall verursacht wurde. Je niedriger der p-Wert ist, desto mehr Vertrauen können wir in das Backtest-Ergebnis haben. In der Statistik gilt ein Ergebnis dabei normalerweise als signifikant, wenn der p-Wert unter fünf Prozent liegt. Funktioniert die Strategie auf den verwirbelten Daten immer noch statistisch signifikant besser als der Zufall, wird sie wahrscheinlich auch im späteren Praxiseinsatz profitabel sein – zumindest, solange sich die Marktstruktur nicht komplett verändert. Ein Restrisiko bleibt also immer. Um statistische Einschätzungen treffen zu können, wird die beschriebene Simulation sehr oft wiederholt, in der Regel 1000 Mal, um anhand der sich ergebenden Verteilungen konkrete Aussagen abzuleiten.

Können Sie uns ein Beispiel geben, welche Strategien nicht gut funktionieren?

Lotter: Ein wichtiger Aspekt ist der Zeithorizont, ganz unabhängig vom gewählten Markt. Unterhalb von 1-Stunden-Kerzen bzw. besonders unterhalb von 30-Minuten-Kerzen wird es sehr schwierig, da funktioniert erfahrungsgemäß fast nichts. In diesem Bereich ist einfach das Rauschen zu hoch, also der Zufall gegenüber dem enthaltenen Signal, sodass sich dieses kaum noch verlässlich identifizieren lässt. Interessant ist aber, dass sich das Ganze im Hochfrequenzbereich wieder ändert, also für Zeithorizonte unterhalb von einer Sekunde. Hier sind durchaus wieder profitable Ansätze möglich, aber dabei kommt es natürlich ganz besonders auf die Details an. Kleinste Fehler können hier sehr teuer werden.

Und welche Ansätze gehören regelmäßig zu den Besten?

Lotter: Wir haben eine Rangliste aller Systeme erstellt, die bisher untersucht wurden. Unsere Kunden bevorzugen dabei ganz klar einige Methoden und Märkte gegenüber anderen (Tabelle 1). Um die Erfolgs- bzw. Misserfolgsquote zu ermitteln, haben wir Backtests über acht Jahre für nicht optimierte Systeme und eine Walk-Forward-Analyse für optimierte Systeme verwendet. Ein erfolgreiches System muss dabei mindestens eine durchschnittliche jährliche Rendite von zwölf Prozent für Aktien und Optionen bzw. 30 Prozent für Forex, CFDs oder Kryptowährungen erzielen. Zudem muss das statistische Bestimmtheitsmaß über 70 Prozent liegen. Wenn die Kunden einen Realitätscheck in Auftrag gegeben haben, muss dieser mit 95-prozentiger Sicherheit bestanden worden sein. Wenn eines dieser Kriterien nicht erfüllt war, wurde das System als gescheitert eingestuft.

Wie sind diese Zahlen einzuschätzen?

Lotter: Die Statistik wird durch die Strategien aus Trading-Büchern und Foren getrübt, von denen die meisten entweder schon bei einem ordentlichen Backtest oder zumindest bei einem Realitätscheck versagen. Ein überraschendes Ergebnis erhielten wir aber bei so mancher Strategie aus der Indikatorsuppe. Normalerweise würde man erwarten, dass sie alle im großen Stil versagen, da sie nicht auf einem Marktmodell basieren. Aber tatsächlich war fast jeder dritte Indikatorkomplex erfolgreich, sogar im Realitätscheck. Es ist auch etwas überraschend, dass die komplexesten Strategien von allen, die Data-Mining-Systeme, die in der Regel Deep-Learning-Algorithmen verwenden, nicht viel besser abschneiden. Sie haben zwar eine akzeptable Erfolgsquote, werden aber zum Teil von sehr viel einfacheren Strategien übertroffen. Von allen Ansätzen, die wir bisher getestet haben, waren die großen Gewinner die langfristigen Handelsstrategien für Aktien, ETFs und Optionen. Bei letzteren haben dabei wiederum die einfacheren Systeme oft besser abgeschnitten.

Eine Kategorie profitabler Ansätze sind Trendfolgestrategien. Hier besteht die Kunst darin, Trends zu nutzen, ohne in Seitwärtsphasen zu viel wieder herzugeben. Wie können Trader dieses Kunststück schaffen?

‍Lotter: Dazu haben wir einen Algorithmus entwickelt, den Market Meanness Index (MMI). Dieser zeigt an, ob sich der Markt wahrscheinlich gerade in einem Trend befindet oder eher nicht, womit sich Verluste durch falsche Signale von Trendindikatoren verhindern lassen. Es ist ein rein statistischer Ansatz, der unabhängig von Volatilität, Trends oder Zyklen auf der Preiskurve funktioniert. Dazu misst der Index die Mean-Reversion-Tendenz des Marktes. Damit ist das Bestreben gemeint, zum Mittelwert zurückzukehren, nachdem scheinbar ein Trend begonnen hat. Wenn das zu oft passiert, werden Trendfolgesysteme scheitern.

Können Sie das Konzept bitte genauer erklären?

Lotter: Jede Reihe unabhängiger Zufallszahlen kehrt mit einer Wahrscheinlichkeit von 75 Prozent zum Median der Verteilung zurück. Nehmen wir an, Sie haben eine Folge von zufälligen, unkorrelierten Tagesdaten, also einen klassischen Random Walk. Wenn der Datenpunkt vom Montag über dem Median lag, sind die Daten am Dienstag in 75 Prozent der Fälle niedriger als am Montag. Und wenn der Montagswert unter dem Median lag, ist die Wahrscheinlichkeit, dass der Dienstag höher liegt, ebenfalls 75 Prozent. Die MMI-Funktion zählt nun die Anzahl der Datenpaare, für die das zutrifft und gibt deren Prozentsatz zurück.

Warum gerade 75 Prozent?

Lotter: Es ist wichtig, zu unterscheiden: Nicht die Kurse selbst sind zufällig, sondern ihre Veränderungen. Daher sollte die MMI-Funktion einen kleineren Prozentsatz zurückgeben, zum Beispiel 55 Prozent, wenn sie mit Preisen gefüttert wird. Was aber die Veränderungen der Kurse angeht, also die Renditen, besteht bei einem hundertprozentig effizienten Markt keine Korrelation zwischen der Preisänderung von gestern auf heute oder der Preisänderung von heute auf morgen. Wird die MMI-Funktion also mit völlig zufälligen Preisänderungen eines effizienten Marktes gefüttert, liefert sie einen Wert von durchschnittlich 75 Prozent. Je weniger effizient der Markt ist und je stärker der Trend, desto niedriger liegt der MMI-Wert. Deshalb ist ein fallender MMI ein Indikator für einen Trend. Ein steigender MMI deutet umgekehrt darauf hin, dass der Markt für Trendfolgesysteme schwieriger wird.

Nutzen manche Trader auch ein Portfolio an einzelnen Strategien, die sich gegenseitig ergänzen?

Lotter: Ja, sogar relativ oft. Und dieser Ansatz funktioniert gut. Das ist auch zu erwarten, wenn mehrere für sich genommen profitable Strategien kombiniert werden, die mehr oder weniger unkorreliert zueinander sind und/oder auf verschiedene Zeithorizonte abzielen. Allerdings muss ein solches Portfolio an Strategien auch immer wieder überprüft und angepasst werden. Zum Beispiel, wenn eine der enthaltenen Strategien nicht mehr funktioniert.

Wie können Trader erkennen, ob die Verluste nur vorübergehend sind?

Lotter: Das ist eine wichtige Frage. Mehrere Gründe können dazu führen, dass eine Strategie am Anfang Geld verliert. Sie kann bereits veraltet sein, da die zugrunde liegende Ineffizienz am Markt verschwunden ist. Oder das System ist wertlos und der Test wurde durch eine Verzerrung verfälscht, die alle Realitätschecks überlebt hat. Oder es handelt sich um einen ganz normalen Drawdown einer ansonsten profitablen Strategie, den man einfach aussitzen muss. In letzterem Fall ist der Drawdown der Grund, warum man überhaupt ein gewisses Anfangskapital für den Handel benötigt, abgesehen von den Margin-Anforderungen und zur Deckung der Handelskosten. Das Grundproblem besteht aber darin, dass man den Backtest-Ergebnissen nie ganz vertrauen kann. Die einfachste, klassische Methode, um die laufende Funktionsfähigkeit einer Handelsstrategie einzuschätzen, basiert aber auf dem maximalen Drawdown. Dazu setzen Sie den aktuellen Drawdown in Relation zum Testzeitraum und berücksichtigen dabei auch dessen Dauer sowie die Länge des Zeithorizonts. Doch diese Methode hat einen Haken: Es ist ein spätes und ungenaues Signal.

Gibt es noch andere Möglichkeiten?

Lotter: Um herauszufinden, ob man eine Strategie sofort stoppen sollte, berechnen wir die Abweichung der aktuellen Live-Handelssituation vom Verhalten der Strategie im Backtest. Hierfür verwenden wir nicht den maximalen Drawdown, sondern die Backtest-Kapitalkurve. Das Ergebnis ist der sogenannte „Cold Blood Index“, der die Ähnlichkeit der Live-Situation mit dem Backtest abgleicht und einen Wahrscheinlichkeitswert dafür angibt, dass alles noch im Rahmen der historischen Erwartung liegt. Solange der Drawdown demnach als statistisch erwartbar gilt, sollte die Strategie weiter betrieben werden. Wenn die Abweichungen dagegen einen gewissen Grenzwert überschreiten, kann man schlussfolgern, dass die Strategie mit hoher Wahrscheinlichkeit nicht mehr funktioniert.

Können Trader Ihre Plattform auch selbst zum Handel nutzen?

Lotter: Die Zorro-Plattform ist frei verfügbar für die Entwicklung, den Demobetrieb und die Live-Umsetzung von Handelssignalen, sowohl halb- als auch vollautomatisch. Sie beinhaltet auch viele vorgefertigte Skripte etwa für die beschriebene Walk-Forward-Analyse, den Monte Carlo Reality Check und den Market Meanness Index. Meist lassen Trader die Skripte auf einem Mietserver laufen, um nicht ständig den Heimrechner online vorhalten zu müssen. Man könnte sie in vielen Fällen zwar auch beim Broker belassen, aber hier besteht oft Skepsis, ob dann wirklich alles mit rechten Dingen zugeht. Man hat einfach ein besseres Gefühl, wenn der Broker wirklich nur die abgeschickten Orders empfängt und keinen Zugriff auf die dahinterstehenden Signale bekommt.‍

Handeln Sie auch selbst an der Börse?

Lotter: Wenn ich selbst trade, dann nur zu Testzwecken. Ich schätze mich nicht als geeignet für das Trading ein und bin viel zu risikoavers dafür. Außerdem sind die von uns entwickelten Strategien im Auftrag von Kunden und werden deshalb auch nicht anderweitig verwendet. Ich führe privat einfach nur ein langfristiges Portfolio mit Aktien und ETFs, das ich regelmäßig rebalanciere. Für meinen Geschmack reicht das völlig aus. Und damit habe ich auch den Kopf frei für meine Arbeit.

Nehmen Sie die Welt des Tradings im Kontrast dazu manchmal als verrückt wahr?

Lotter: Inzwischen nicht mehr, nachdem ich vieles gehört und gesehen habe, und in manchen Sachen auch eines Besseren belehrt wurde wie bei der Profitabilität einiger Strategien mit Indikatoren. Aber am Anfang war das Ganze durchaus bizarr für mich, vergleichbar mit der mittelalterlichen Alchemie. Es ist eine ganz andere Welt, als ich sie vorher kannte, da alles im Fluss ist und sich immer wieder verändert. Und ich habe gelernt, dass einzelne Trader ein ganz anderes Risikoempfinden haben als ich selbst. Das ist vielleicht das wichtigste, was man als Trader oder Anleger können muss: Sich selbst gut einzuschätzen. Nur so kann man auch den persönlich „richtigen“ Weg an der Börse finden, der für einen selbst auch dauerhaft umsetzbar ist.