Skill Issue: Warum du Vision-Language-Modelle nicht deployen, sondern mit Skills nutzen solltest — Merve Noyan, Hugging Face

Entwickler neigen dazu, große Vision-Language-Modelle direkt für allgemeine Computer-Vision-Aufgaben zu nutzen. Dies verhindert das Erreichen von Echtzeit-Bildraten von 30 bis 40 FPS auf leistungsschwachen Geräten. Spezialisierte Architekturen wie RT-DETR erzielen bei Aufgaben wie der Objekterkennung oder Instanzsegmentierung stabilere Ergebnisse. Zudem führt der Einsatz verbreiteter Modelle wie YOLO aufgrund restriktiver GPL-3.0-Lizenzen häufig zu unerwarteten Lizenzkosten. Der Wechsel zu Open-Source-Modellen unter Apache-2.0-Lizenzen stellt eine rechtssichere Alternative dar.

Das Vibe Vision Toolkit nutzt Gemma 3, SAM 2.1 und andere Komponenten zur Erstellung von End-to-End-Vision-Anwendungen. Wenn Entwickler nur ungelabelte Bilddaten besitzen, fungiert ein primäres VLM als automatischer Annotator. Nachgelagerte VLM-Judges prüfen die generierten Labels, bevor ein spezialisiertes Zielmodell trainiert wird. Dieser Prozess läuft auf Cloud-Infrastrukturen wie Hugging Face Jobs ab, kombiniert mit Objekt-Buckets für Zwischendaten und serverlosem Routing für die Modellausführung.

Die Pipeline startet mit der Annotation eines Bilddatensatzes durch Qwen2.5-VL-7B. Aus den erzeugten Token-Koordinaten werden Bounding Boxes direkt auf die Bilder gezeichnet und zusammen mit Textbeschreibungen an zwei Judge-Modelle übergeben: Gemma 3 4B und Llama-3.2-11B-Vision. Anstatt numerische Scores abzufragen, stimmen die Judges visuell der Richtigkeit der eingezeichneten Rahmen zu. Das endgültige Training erfolgt auf einem RT-DETR-Modell unter Nutzung einer L4-GPU. Die Kosten reduzieren sich durch die Kombination aus kostengünstigen Inference-Anbietern und kleinen Modellgrößen auf wenige Dollar.

Die Validierung erfolgte an zwei Testfällen: Erkennung von Verkehrsschildern und Parsing von Dokumentenstrukturen. Bei Verkehrsschildern zeigte das trainierte RT-DETR-Modell im Vergleich zu echten Ground-Truth-Daten eine Mean Average Precision von über 50 sowie starke ROC-AUC-Werte. Beim Auslesen von Dokumenten identifizierte das trainierte RT-DETR-Modell Unterschriften und Tabellen selbst dann zuverlässig, wenn das für die Annotation genutzte Qwen-Modell diese im Test-Set ausgelassen hatte. Dies belegt die hohe Verallgemeinerungsfähigkeit des RT-DETR-Backbones.

Die Auswertung offenbarte systematische Hürden bei der Erstellung visueller Agenten. Da Modelle wie Llama zu strengen Ablehnungen neigen, führt die Pflicht zu vollständigem Konsens zwischen allen Judges zu einem massiven Datenverlust und schlechter Verallgemeinerung. Daher reicht die Zustimmung eines einzelnen Judges aus. Zudem erfordern die vom System generierten Prompts eine kurze menschliche Sichtprüfung. Ein weiteres Risiko bilden automatische Coding-Agenten wie Claude 3.5 Sonnet: Sie wenden mathematische Augmentierungen wie horizontales Spiegeln oder Farbveränderungen unbedacht an, was die Semantik von Objekten wie Verkehrsschildern oder Ampeln zerstört.

Das vorgestellte Repository stellt Coding-Agenten spezialisierte Modelle als Werkzeuge bereit. Für verschachtelte Anweisungen bei der Segmentierung eignet sich Falcon Perception von TII mit 600 Millionen Parametern unter Apache-2.0-Lizenz. Die Sapiens-Modellfamilie unterstützt personenspezifische Verarbeitungen wie Posenschätzungen. MM-Grounding-DINO und Moondream 3 ermöglichen Zero-Shot-Objekterkennungen auf kleineren Hardware-Instanzen. Ergänzend sind Open-Source-Lösungen für optische Zeichenerkennung aus dem olmOCR-Benchmark sowie Bibliotheken wie Supervision und Tracker für das Tracking von Instanzen integriert.

Für industrielle Anwendungsfälle, in denen Objekte nicht präzise mit natürlicher Sprache beschrieben werden können, soll bildgestützte Erkennung anhand von Referenzbildern integriert werden. Zukünftige Iterationen der Pipeline testen zudem die Bewertung von Bounding Boxes mittels Intersection over Union statt reiner binärer Ablehnungen. Das Repository mervenoyan/vision-intern sowie Hugging Face Skills bieten Tutorials für Fine-Tuning, Quantisierung und Ein-Zeilen-Prompts zur Ausführung von Modelltrainings. Die vorrangige Roadmap zielt auf die Bereitstellung aufgabenspezifischer Modelle auf Edge-Geräten ab.