Automatisierung von Tests im Audio- und Videotesting:

Die Automatisierung von Tests ist eine großartige Möglichkeit, die Testreichweite zu erhöhen, repetitive Tests schneller durchzuführen und die allgemeine Effizienz der Softwareentwicklung zu verbessern.

Einleitung

Die Automatisierung von Tests ist eine großartige Möglichkeit, die Testreichweite zu erhöhen, repetitive Tests schneller durchzuführen und die allgemeine Effizienz der Softwareentwicklung zu verbessern. Laut dem „State of Quality Report 2022“ haben mehr als die Hälfte der befragten Softwaretestteams die Automatisierung von Tests implementiert, und 63 % der Befragten berichteten, dass sie durch die Implementierung der Test-Automatisierung Kosten gespart und Zeit gewonnen haben.

Die Bedeutung der Test-Automatisierungs-Wartung

Obwohl es viele Vorteile und Gründe für die Wahl automatisierter Audio- und Videotests gibt, können kontinuierliche Updates und Verbesserungen an der Anwendung und/oder dem Automatisierungssansatz dazu führen, dass Tests fehlschlagen. Dies kann zu Verzögerungen bei der Sammlung von Testergebnissen führen. Um dies zu vermeiden, ist die Wartung der Test-Automatisierung unerlässlich. Dieser Prozess ist ein integraler Bestandteil der Test-Automatisierung und notwendig, um sicherzustellen, dass Ihre Tests mit den Änderungen an der Gerätesoftware, Anwendung, Tools oder Frameworks auf dem Laufenden sind.

Was ist Testwartung?

Wie bereits erwähnt, spielt die Testwartung eine entscheidende Rolle in der Test-Automatisierung. Sie bezieht sich auf den Prozess, Tests nach einem Update der Anwendung oder einer Änderung des Automatisierungsprozesses gesund und funktionsfähig zu halten, indem vorhandene Tests neu geschrieben oder aktualisiert werden.

Behebung neu auftretender Fehler in Tests
Verbesserung der Funktionalität/Leistung bestehender Lösungen
Anpassung der Lösung an die Bedürfnisse des Kunden

Warum ist sie bei automatisierten Audio- und Videotests erforderlich?

Der Hauptgrund, warum die Testwartung sowohl in automatisierten Audio- und Videotests als auch im Allgemeinen wichtig ist, liegt in reaktiven und proaktiven Änderungen. Dies bedeutet, dass die Testwartung sicherstellt, dass Testergebnisse konsistent gesammelt werden und auch nach Änderungen oder Verbesserungen an der getesteten Anwendung oder einem Teil des Automatisierungsprozesses vergleichbar bleiben.

Wie kann man automatisierte Audio- und Videotest-Setups warten?

Um automatisierte Setups im Audio- und Videotesting ordnungsgemäß zu warten, müssen vier Hauptschritte befolgt werden:

Erstellen Sie eine gründliche Dokumentation darüber, wie die Test-Setups für Tests (sowohl Software als auch Hardware) eingerichtet werden sollen.
Überprüfen Sie die gesammelten Testergebnisse mit einem Validierungssystem – manuell, halbautomatisch oder voll automatisiert – um Ausreißerwerte für weitere Untersuchungen zu kennzeichnen.
Fassen Sie die Ausreißerwerte unter Verwendung von neuen oder vorhandenen Berichten/Diagrammen zusammen und gruppieren Sie sie nach Art des Problems.
Nehmen Sie Anpassungen an Automatisierungsskripten sowie an Bewertungstools und Aufnahmetools basierend auf Änderungen in den getesteten Apps, Anforderungen oder anderen Notwendigkeiten vor.

Allgemeine Herausforderungen bei der Testwartung

Änderungen in der Benutzeroberfläche und im Verhalten der Testapplikation: Automatisierungsskripte müssen aktualisiert werden, wenn sich die getestete App (oder der Browser) in einer UI-Option oder einem Selektor/Locator für einige Elemente ändert. Im Allgemeinen können selbst kleinere Updates indirekte Änderungen am Anwendungsverhalten verursachen. Daher sollten auch Testskripte für die Test-Automatisierung aktualisiert werden.
Änderungen an der Software des Testgeräts: Updates des Betriebssystems (OS) des Geräts können das Verhalten von App und Gerät beeinflussen, was sich wiederum auf die Testansätze sowie auf die verwendeten Tools auswirken kann. Dies variiert je nach Plattform.
Änderungen an den Testtools: Updates von Automatisierungstools wie Appium/Selenium und ihren Betriebssystem-spezifischen Treibern können eine Änderung der Testskripte für die Automatisierung erfordern. Möglicherweise müssen Sie das Framework für die Test-Automatisierung aktualisieren, um die neuesten Funktionen des Testtools zu nutzen.
Tools sind nicht mehr kompatibel: Tools könnten die Unterstützung für bestimmte Funktionalitäten im Automatisierungskode fallen lassen, sodass eine Änderung erforderlich ist, um veraltete Lösungen zu vermeiden. Einige Tooländerungen können sich sogar auf andere Tools auswirken. Beispielsweise kann die neueste Version eines Webbrowsers die Kompatibilität mit Streaming-Software beeinträchtigen.
Vergleichbarkeit der Ergebnisse: Manchmal müssen Kunden verlangen, dass Sie Tests auf mehreren Apps ausführen und die Hauptapp mit Konkurrenzprodukten vergleichen. Die Herausforderung dabei besteht jedoch darin, dass beispielsweise ein neuer Release von einem Wettbewerber eine grundlegende Änderung enthält, die dann die Gültigkeit der Ergebnisse für diese App beeinflussen kann. Dies könnte dazu führen, dass Sie und Ihr Team Anpassungen an der Art und Weise vornehmen müssen, wie Tests für die Hauptapp und alle anderen getesteten Apps ausgeführt werden, um sicherzustellen, dass die Ergebnisse vergleichbar sind.
Anforderungen von Kunden: Ähnlich wie bei den Ergebnissen könnten Kunden möglicherweise nach einem anderen Vorgehen fragen, sei es zum Vergleich oder aufgrund einer Präferenz für einen bestimmten Ansatz. Beispielsweise kann ein Kunde bitten, dass Sie die Art und Weise ändern, wie Tests durchgeführt/bewertet/validiert werden und welche Tools verwendet werden sollen. In solchen Fällen müssen Sie Ihre Tests entsprechend anpassen.

Herausforderungen im Audio- und Videotesting

Wartung physischer Geräte: Im Falle defekter/überlasteter Audio- oder Videoaufnahmegeräte, Kabel oder sogar der Testgeräte selbst müssen Probleme erkannt und behoben werden, die die Messqualität beeinflussen können. Selbst scheinbar geringfügige Probleme, wie z. B. eine leicht schräggestellte Videokamera oder ein leicht erhöhte Lautstärke des Empfangsgeräts, können sich deutlich auf die Testergebnisse auswirken. Sie müssen auch sicherstellen, dass keine losen Kabel vorhanden sind, die ein Signal oder eine Verbindung beeinträchtigen und sich somit auf die Messungen auswirken könnten.
Netzwerk-Herausforderungen: Die Qualitätsprüfung von Audio und Video erfordert häufig, dass QA-Teams die Anwendung unter verschiedenen Netzwerkbedingungen oder -beschränkungen testen, um zu sehen, wie sie sich bei begrenzten Ressourcen seitens des Netzwerks verhält. Manchmal weicht das Verhalten vom Normalverhalten ab – zum Beispiel können in der Anwendung neue Popups erscheinen, Benutzer können mit großer Verzögerung dem Anruf beitreten oder während des Tests zu unregelmäßigen Zeiten vollständig aus dem Anruf aussteigen. In diesem Fall müssen zusätzliche Untersuchungstests durchgeführt und die Automatisierungsansätze angepasst werden.
Leistungs-Herausforderungen: Bei der Analyse von Ausreißerdaten, wie z.B. bei Netzwerkkonvertierungen, werden oft auch Leistungskennzahlen wie RAM-, CPU- und GPU-Auslastung im Audio- und Videotesting erfasst. In diesem Fall besteht die Wartung darin, zusätzliche Tests zu starten und tiefer in die Daten einzutauchen, um die Ursachen der Ausreißerwerte zu finden.

Schlussfolgerung

Die Wartung der Test-Automatisierung bleibt ein grundlegender Bestandteil des Softwaretestings und der Aufwand, den Sie aufwenden müssen, um automatisierte Tests auf dem Laufenden zu halten, sollte nicht unterschätzt werden, insbesondere bei der Qualitätsprüfung von Audio und Video. Dies liegt an vielen verschiedenen erfassten und ausgewerteten Kennzahlen sowie an der Notwendigkeit, dass mehrere Komponenten (sowohl physisch als auch softwareseitig) integriert und korrekt zusammenarbeiten müssen, um genaue und nützliche Daten zu sammeln.

Mit soliden Wartungssystemen, Validierungsprotokollen und Dokumentationssystemen lässt sich jedoch viel einfacher das bestehende Audio-/Videotest-Setup aufrechterhalten. So können Sie Ergebnisse sammeln und verschiedene Probleme, Leistungs- oder Netzwerkbegrenzungen sowie Bruchstellen für bestimmte Apps erkennen.

Call to Action

Möchten Sie die Audio- und Videogüte Ihrer Anwendung testen und sicherstellen, dass Ihre automatisierten Tests effektiv sind? Arbeiten Sie mit erfahrenen Softwarequalitätsspezialisten zusammen, die Sie bei Ihren Testbemühungen unterstützen und Ihnen handlungsorientierte Erkenntnisse liefern. Kontaktieren Sie uns mit den Details Ihres Projekts und vereinbaren Sie einen Termin für ein Gespräch.