Mobile-Menu

Wenn das Redesign den Test bricht KI lokalisiert UI-Elemente per Beschreibung statt per Screenshot

Von Berk Kutsal 2 min Lesedauer

Anbieter zum Thema

Keysight Technologies Deutschland GmbH
Disy Informationssysteme GmbH
QUNIS GmbH
BigData-Insider

Keysight hat mit „Eggplant Find by Description“ eine Funktion vorgestellt, die Oberflächenelemente über eine Beschreibung in natürlicher Sprache ansteuert. Damit sollen automatisierte Tests auch dann weiterlaufen, wenn sich das Design einer Anwendung ändert.

Find by Description nutzt ein Computer-Vision-KI-Modell, um UI-Elemente anhand von Beschreibungen in natürlicher Sprache zu lokalisieren.(Bild: Keysight Technologies)
Find by Description nutzt ein Computer-Vision-KI-Modell, um UI-Elemente anhand von Beschreibungen in natürlicher Sprache zu lokalisieren.
(Bild: Keysight Technologies)

Keysight Technologies hat Eggplant Find by Description vorgestellt, eine Funktion, mit der Entwickler Oberflächenelemente anhand einer Beschreibung lokalisieren können, statt Screenshots aufzunehmen und abzugleichen. Jeder Test spricht ein Element über dessen Beschreibung an und nicht über sein visuelles Erscheinungsbild. Nach Angaben des Herstellers bleiben die Tests dadurch auch bei Neugestaltungen, Designänderungen und angepasster Bildschirmauflösung lauffähig. Die Funktion ist Bestandteil von Eggplant Studio und Eggplant Functional.

Wartung bildbasierter Skripte als Kostentreiber

Bildbasierte Testskripte funktionieren nicht mehr, sobald sich die Benutzeroberfläche ändert, auch wenn die zugrunde liegende Software fehlerfrei läuft. Entwickler müssen dann neue Screenshots für Testfälle erstellen, die eigentlich weiterhin bestehen sollten. Dieser Aufwand wiederholt sich bei jedem Release und in jeder Umgebung.

Laut World Quality Report 2025 sieht die Hälfte der Unternehmen die Pflege von Skripten, die bei Änderungen an den Anwendungen fehlschlagen, als ein Haupthindernis der Testautomatisierung. Die Pflege bildbasierter Skripte ist nach Darstellung von Keysight mit versteckten Kosten verbunden.

Element-Lokalisierung über natürliche Sprache

Mit Eggplant Find by Description beschreibt ein Entwickler ein Element, etwa den Ticketpreis für ein bestimmtes Datum. Die Software lokalisiert dieses Element daraufhin nach Angaben des Herstellers ohne Screenshots, ohne Zugriff auf das Document Object Model und ohne Änderungen am zu testenden System. Zum Einsatz kommt ein KI-Modell auf Basis von Computer Vision, das UI-Elemente anhand von Beschreibungen in natürlicher Sprache identifiziert. Nach Herstellerangaben lässt sich der Ansatz auch auf ältere Desktop-, Embedded- und Webanwendungen anwenden.

Laut eigenen Angaben von Keysight reduzierte die Funktion den Skriptumfang um 92 Prozent und verkürzte die Bearbeitungszeit von über einer Stunde auf unter 15 Minuten.

Gareth Smith, General Manager für Software Quality Engineering bei Keysight, ordnet die Funktion so ein: Ziel sei es, Teams dabei zu unterstützen, einen größeren Teil ihrer Tests zu automatisieren. Dies sei „viel zu lange durch den hohen Wartungsaufwand behindert“ worden. Eggplant Find by Description beseitige eines der größten Hindernisse und bringe „uns einer Zukunft näher, in der Teams genau das automatisieren können, was sie wollen, und nicht nur das, was ihre Tools zulassen“.

(ID:50898327)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte