Projekt 02
RhinoAI
Eine mobile KI-Anwendung, die Gesichtsproportionen vor und nach einer Rhinoplastik objektiv vermisst. Landmark-Erkennung und Deep-Learning-Inferenz laufen in Echtzeit vollständig auf dem Gerät.
- Kategorie
- Mobile
- Rolle
- Einzelentwickler — Mobile und Edge-KI
- Jahr
- 2026
verwendete technologien
- Kotlin
- Jetpack Compose
- Python
- TensorFlow Lite
- ML Kit
- ViT
problem
Problem
Operationsplanung und Asymmetriebewertung vor und nach einer Rhinoplastik beruhen weitgehend auf der subjektiven Einschätzung des Arztes. Es fehlte ein leichtes mobiles Werkzeug, das Patientinnen und Patienten ihre Winkel- und Millimeterverhältnisse unmittelbar zeigt. Bestehende mobile Lösungen laden das Foto auf einen Server, was ein Datenschutzproblem schafft und die App von einer Internetverbindung abhängig macht.
lösung
Lösung
Ich habe eine native Android-Architektur auf Kotlin und Jetpack Compose aufgebaut. Die ML-Kit-Face-Mesh-Integration kartiert Gesichtspunkte innerhalb von Millisekunden; für Bildanalyse und Nasenwinkelberechnungen laufen TensorFlow-Lite-Modelle direkt auf dem Gerät. Die schwereren Klassifikationsmodelle wurden nach TFLite konvertiert und durch Quantisierung verkleinert.
ergebnis
Ergebnis
Entstanden ist eine vollständig lokal und ohne Serverkosten laufende Anwendung, die Gesichtskonturen sowie Nasolabial- und Dorsalwinkel mit über 30 FPS im Live-Kamerastream analysiert. Sie wurde als Open Source veröffentlicht.
wichtigste funktionen
- 01Erkennung von 468 Gesichtsreferenzpunkten mit ML Kit Face Mesh und Berechnung von Asymmetriewerten.
- 02Live-Analyse von Nasolabial- und Dorsalwinkeln mit über 30 FPS im Kamerastream.
- 03Latenzarme On-Device-Inferenz mit Modellen, die für TFLite optimiert und konvertiert wurden.
- 04Moderne, reaktive Android-Architektur auf Basis von MVVM und Jetpack Compose.
- 05Als Open Source auf GitHub veröffentlicht.
warum diese entscheidungen
Warum Inferenz auf dem Gerät?
Statt den Kamerastream an ein Python-FastAPI-Backend zu senden, habe ich alles auf dem Gerät ausgeführt. In einer Gesundheitsanwendung ist die Tatsache, dass das Foto das Telefon nie verlässt, eine stärkere Datenschutzgarantie als jede serverseitige Maßnahme. Dieselbe Entscheidung brachte zudem null Latenz und Unabhängigkeit vom Netz.
Warum TensorFlow Lite?
Das Vision-Transformer-basierte Modell war deutlich zu schwer, um direkt auf dem Mobilgerät zu laufen. Die TFLite-Konvertierung und Quantisierung brachten sowohl Modellgröße als auch Inferenzzeit auf ein akzeptables Niveau.
Warum Jetpack Compose?
Die App musste Landmarks in Echtzeit über eine Live-Kameravorschau zeichnen. Das reaktive Modell von Compose bewältigt eine Oberfläche, die sich in jedem Frame aktualisiert, deutlich sauberer als XML-basierte Views.