Kontext & Projekt-Ziele
Das vorliegende Projekt wurde von einem visionären Start-Up im Fintech- und Trading-Bereich initiiert. Ziel war die Entwicklung eines Proof of Concept (PoC) für eine Datenverarbeitungsplattform, die schnelle Berechnungen für Trading-Strategien ermöglicht. Der Fokus lag auf der effizienten Aggregation und Verarbeitung von Marktdaten, um eine solide Grundlage für zukünftige Produktentwicklungen zu schaffen.
Zielsetzung
Die Hauptziele des Projekts umfassten die Implementierung eines Moduls zur schnellen Datenverarbeitung sowie die Erreichung des Proof of Concept-Status. Dies erforderte die Entwicklung einer robusten Backend-Architektur, die in der Lage ist, große Datenmengen effizient zu verarbeiten und gleichzeitig eine hohe Datenintegrität sicherzustellen.
Lösungsansatz & Architektur
Die Lösung basiert auf einer API- und WebSocket-Integration, die es ermöglicht, Daten von verschiedenen Partner-APIs zu sammeln. Ein separates Modul wurde entwickelt, um Daten zu scrapen und zu aggregieren, wobei besondere Aufmerksamkeit auf niedrige Latenz, Rate-Limits und die korrekte Verarbeitung der Datenformate gelegt wurde. Die gesammelten Daten werden in einer PostgreSQL-Datenbank gespeichert, die so strukturiert ist, dass sie sowohl Rohdaten als auch vorkalkulierte Werte partitioniert verwaltet.
Ein Algorithmus wurde entworfen, der es ermöglicht, über mathematisch definierte Filter einen Drag-and-Drop-Strategieeditor zu implementieren. Hierbei kommen komplexe hierarchische SQL-Queries zum Einsatz, um die optimale Berechnungslösung zu finden. Die Architektur umfasst ein redundantes Set-Up der internen API, Load-Balancing sowie ein robustes Server-Setup mit Back-Up-Funktionen.
Umsetzung
Die Umsetzung begann mit der Entwicklung des Moduls für das Daten-Sammeln und der Berechnung der vorkalkulierten Tabelle. Im Anschluss wurde das PostgreSQL-Schema erweitert und die interne API-Schnittstelle entwickelt. Diverse Validierungen und SQL-Knoten wurden implementiert, um eine Proof-of-Concept-Laufzeit für verschiedene Strategie- und Parameter-Logiken zu erreichen. Iterative Tests führten zur Optimierung der Abstraktions- und Verkettungs-Schritte.
Die eingesetzten Technologien umfassten unter anderem:
- Next.js
- React.js
- Payload CMS
- TypeScript
- Node.js
- Docker
- PostgreSQL
- Redis
- SQL
Zusätzlich wurde ein selbst gehostetes DevOps- und Monitoring-System sowie ein internes Master-Slave Queue Task Management System integriert. WebSocket- und RESTful-APIs vervollständigten die technische Architektur.
Ergebnis & Wirkung
Der Proof of Concept wurde erfolgreich bereitgestellt, wobei die Rechenzeiten und Ergebnisse den Erwartungen entsprachen. Durch den modularen Aufbau der Lösung wurden vielfältige Erweiterungsmöglichkeiten für die Zukunft geschaffen. Die Plattform ist nun in der Lage, über 1 Billion Datenpunkte effizient zu verarbeiten und bietet eine solide Basis für die weitere Entwicklung innovativer Trading-Strategien. Die Sicherstellung der Datenkonsistenz und Integrität über verschiedene Quellen hinweg stellt einen entscheidenden Fortschritt dar.