project 01
RhinoAI
Een mobiele AI-toepassing die rhinoplastiek- en gezichtsproportieanalyses uitvoert op basis van een foto. Landmarkdetectie en deep learning-inferentie draaien in realtime, volledig op het apparaat zelf.
- Categorie
- Mobiel
- Rol
- Volledige ontwikkeling
gebruikte technologieën
- Kotlin
- Jetpack Compose
- Python
- TensorFlow Lite
- ML Kit
- ViT
probleem
Probleem
Een analyse van gezichtsproporties vóór een rhinoplastiek vereist normaal gesproken een meting door een specialist in een klinische omgeving — iets wat iemand niet zelf kan doen. Bestaande mobiele oplossingen uploaden de foto naar een server, wat een privacyprobleem oplevert en de app afhankelijk maakt van een internetverbinding.
oplossing
Oplossing
Ik heb een Android-applicatie gebouwd die zowel de landmarkdetectie als de deep learning-inferentie volledig op het apparaat uitvoert. ML Kit Face Mesh detecteert 468 referentiepunten, waaruit gezichtsverhoudingen en asymmetriewaarden worden berekend. De zwaardere classificatiemodellen zijn omgezet naar TensorFlow Lite en verkleind via kwantisatie.
resultaat
Resultaat
De foto verlaat het apparaat nooit, de analyse werkt zonder internetverbinding en er zijn geen serverkosten.
belangrijkste functies
- 01Detectie van 468 gezichtsreferentiepunten via ML Kit Face Mesh, met berekening van asymmetriewaarden.
- 02On-device inferentie met lage latentie dankzij modellen die geoptimaliseerd en omgezet zijn naar TFLite.
- 03Moderne, reactieve Android-architectuur op basis van MVVM en Jetpack Compose.
waarom deze keuzes
Waarom TensorFlow Lite?
Het op Vision Transformer gebaseerde model was veel te zwaar om rechtstreeks op mobiel te draaien. De TFLite-conversie en kwantisatie brachten zowel de modelgrootte als de inferentietijd terug tot een acceptabel niveau.
Waarom Jetpack Compose?
De app moest landmarks in realtime over een live camerabeeld tekenen. Het reactieve model van Compose gaat veel schoner om met een interface die elk frame ververst dan XML-gebaseerde views.