CV_POM: Objekterkennung revolutioniert Web- und App-Tests

Stellen Sie sich ein Framework vor, das Bilddaten in eine JSON-Ausgabe umwandelt und so ein Seitenobjektmodell erstellt, das alle erkannten Elemente einschließlich Objektnamen und Koordinaten identifiziert. Genau ein solches Framework haben wir mit dem Namen CV_POM entwickelt. Dieses Framework eröffnet Entwicklern und Testern eine Vielzahl von Möglichkeiten.

Objekterkennung, ein wertvolles Werkzeug im Bereich Computer Vision, ermöglicht es Computern, Objekte innerhalb von Bildern oder Videostreams zu identifizieren und zu lokalisieren. Es geht nicht nur darum, Objekte zu erkennen, sondern auch ihre genaue Position innerhalb des Bildes zu bestimmen. Dieses System basiert auf Deep-Learning-Modellen wie konvolutionalen neuronalen Netzen (CNNs), um visuelle Informationen zu analysieren und präzise Vorhersagen zu treffen.

Wenn ein Objekt erkannt wird, wird nicht nur der Name des Objekts, sondern auch eine Vertrauenswürdigkeit angezeigt.

Objekterkennung hebt sich durch ihre Fähigkeit hervor, eine Vielzahl von Situationen zu bewältigen und zeigt im Vergleich zu anderen Techniken wie Template Matching und Feature Detection eine außergewöhnliche Anpassungsfähigkeit. Während Template Matching auf vordefinierten Templates zur Objektidentifizierung basiert und Feature Detection sich auf die Identifizierung wichtiger Merkmale konzentriert, stoßen beide Methoden bei dynamischen Inhalten und Variationen in Größe und Aussehen auf Schwierigkeiten.

Für das Training des generischen Modells haben wir einen vielfältigen Datensatz von über 20 verschiedenen Websites verwendet. Diese breite Exposition ermöglicht es dem generischen Modell, Objekte in unterschiedlichen Layouts mit beeindruckender Zuverlässigkeit und Genauigkeit zu erkennen, wie die folgenden Beispiele zeigen:

Unsere Reise begann mit der Sammlung und dem Test von Datensätzen. Um unsere Modelle effektiv zu trainieren, benötigen wir viele verschiedene Bilder. Bilder können aus Browsern, Apps oder jeder anderen Plattform für die spätere Verwendung im Modelltraining abgerufen werden, obwohl die Erforschung der Bilddatenbeschaffung noch aussteht.

Nachdem alle Bilder gesammelt wurden, ist der nächste entscheidende Schritt die Beschriftung. Wir verwenden das Open-Source-Tool Computer Vision Annotation Tool (CVAT), ein webbasiertes Tool zur Annotation von Bildern und Videos. Dieser Schritt ist zeitaufwendig, aber absolut unerlässlich. Zunächst konzentrierten wir uns auf die Entwicklung eines generischen Modells, das 47 Objekte erkennen kann. Wir beschrifteten etwa 1300 Bilder mit mehreren Objekten in jedem Bild, um Präzision zu gewährleisten und menschliche Fehler auszuschließen.

Anschließend entwickelten wir spezialisierte Testszenarien und beschrifteten nur Objekte mit benutzerdefinierten Namen, die für bestimmte Testbedürfnisse relevant waren. Die Anzahl der Bilder hängt von dem konkreten Testszenario ab. Das zweite Modell, das auf spezifische Szenarien zugeschnitten ist, erreicht eine bemerkenswerte Genauigkeit (nahezu 99%) und übertrifft den ersten Ansatz mit 83%

Mit den beschrifteten Daten beginnt die Trainingsphase unter Verwendung der YOLO-Architektur. YOLO (You Only Look Once) ist ein Objekterkennungsalgorithmus, der ein einzelnes neuronales Netzwerk verwendet, um Begrenzungsrahmen und Klassenwahrscheinlichkeiten für Objekte in einem Bild vorherzusagen.

Die Ergebnisse? Beeindruckende Genauigkeitsergebnisse, nahtlose Objekterkennung und ein Framework, das die Welt von Web- und App-Tests revolutionieren wird.

Die Integration innovativer Technologien bringt oft eine Reihe von Vorteilen mit sich. Einige davon werden im Folgenden erwähnt:

Obwohl Objekterkennung ein immenses Potenzial für Web- und App-Schnittstellen bietet, bringt sie auch Herausforderungen mit sich:

Wir haben CV_POM als Open-Source-Framework unter der AGPL-3.0-Lizenz veröffentlicht. Wir laden alle Entwickler ein, sich einzubringen, das Framework zu erkunden und durch Beiträge noch besser zu machen.

Aber das ist noch nicht alles! Unser Team arbeitet an der Verbesserung der optischen Zeichenerkennung und entwickelt zusätzliche Tools, darunter ein großes Sprachmodell für automatisierte Testszenarien ohne Code, Inspektortools und mehr.

Lasst uns gemeinsam die Web- und App-Entwicklung verändern! Bleiben Sie auf dem Laufenden, welche spannenden Tools noch auf Sie zukommen. Happy Coding!