Step Check ist eine Feature innerhalb von Vuforia Vantage von PTC, das visuelle Prüfungen in Arbeitsabläufen automatisiert. Es erkennt mithilfe von Künstlicher Intelligenz, ob einzelne Schritte korrekt ausgeführt wurden, zum Beispiel ob ein Bauteil korrekt montiert ist oder eine Inspektion vollständig durchgeführt wurde. Zu diesem Zweck werden während der Ausführung Bilder erfasst und zur KI-gestützten Validierung verwendet. Nach dem Training zeigt Step Check dem Nutzer direkt in der Benutzeroberfläche an, ob ein Schritt bestanden oder nicht bestanden wurde.

Bei PTC übernahm ich eine Doppelrolle, einerseits war ich als Softwareentwickler an der Entwicklung der Mobile-App (Vuforia Vantage) beteiligt, andererseits nahm ich in der Rolle des UX-Designers an Workshops teil und erstellte Mock-ups, Click-Dummys sowie das finale UI-Design für die Web- und Mobileanwendung.

Das Dashboard zeigt alle gesammelten Bilder für einen Schritt, die während des Trainings als Pass oder Fail markiert wurden. Diese Bilder können von berechtigten Nutzern nachträglich bearbeitet oder neu bewertet werden.

Es kann auch Bilder geben, die nicht eindeutig in eine der beiden Kategorien fallen, beispielsweise durch Fremdelemente die das eigentliche Objekt verdecken. Hierfür muss es eine Möglichkeit geben diese schnell unter den vielen Bildern zu finden.

Ein UI-Element, welches dem Nutzer ermöglicht, nach verschiedenen, von der KI erzeugten Kategorien zu filtern. Dies ermöglicht es, nur die relevanten Bilder anzuzeigen.

In der Step Check Konfiguration wird das Verhalten der Validierung innerhalb der Application (Vuforia Vantage) definiert. Hier wird beispielsweise festgelegt, ob Trainingsbilder erfasst werden sollen und ob dem Nutzer das Ergebnis der KI-Validierung angezeigt wird.

Durch die Kombination der verschiedenen Modi stehen dem Nutzer diverse Optionen zur Verfügung. Darüber hinaus sollte aus dieser Ansicht ersichtlich sein, wie gut die KI trainiert ist und ob es mögliche Probleme mit den bereits aufgenommenen Trainingsbildern gibt.

Ein Akkordeon-UI, das dem Nutzer bereits im eingeklappten Zustand die wichtigsten Informationen vermittelt. Es beinhaltet alle relevanten Informationen, um eine Entscheidung über die optimalen Einstellungen für die Nutzung der KI treffen zu können. Im aufgeklappten Zustand erhält man zusätzliche Informationen, die für den Power-User relevant sind.

Um relevante Trainingsdaten zu erhalten, muss das zu untersuchende Objekt aus verschiedenen Blickwinkeln durch die Kamera des iPads oder Smartphones betrachtet werden. Eine 3D-UI unterstützt den Nutzer dabei, das Gerät korrekt zu positionieren.

Häufig ist dem Nutzer nicht bekannt, aus welcher Richtung die relevantesten Trainingsbilder aufgenommen werden müssen. Dies liegt daran, dass die Person, die die App auf einem mobilen Gerät verwendet, nicht identisch mit der Person sein muss, die das Verfahren in der Webanwendung erstellt hat.

Eine Sphäre, die aus zahlreichen Hexagonen besteht und den Nutzer zu den relevanten Stellen führt. Darüber hinaus kommunizieren die einzelnen Hexagone, ob an dieser Stelle bereits Bilder aufgenommen wurden, was die Trainingsdauer verkürzen kann.

Sobald eine ausreichende Anzahl an Trainingsbildern vorhanden ist und die KI trainiert wurde, ist es möglich, durch die Analyse eines spezifischen Bereichs zu ermitteln, ob der Arbeitsschritt korrekt ausgeführt wurde oder nicht den Vorgaben entspricht.

Da die korrekte Ausrichtung der Kamera des Geräts im Fokus steht, ist neben dem Feedback im 2D-UI-Overlay ein zusätzliches Element im 3D-Raum erforderlich. Dieses Element soll dem Nutzer direkt an der zu validierenden Stelle die von der KI ermittelten Informationen vermitteln.

Zusätzlich zum UI-Element, das zur Kameraführung dient, existiert ein weiteres Element, welches über dem zu validierenden Objekt platziert wird. Dieses Element ist stets dem Nutzer zugewandt und weist eine feste Größe auf dem Bildschirm auf. Des Weiteren wird das Ergebnis auf dem 2D-Overlay dargestellt.