Effizienzsteigerung und Qualitätssicherung in der Softwareentwicklung
tracetronic GmbH:
Im Angesicht der steigenden Komplexität moderner Fahrzeugsysteme entwickelt die tracetronic GmbH Lösungen zur Effizienzsteigerung und Qualitätssicherung in der Softwareentwicklung von Fahrzeugen. Mit TAIA – dem Testing AI Assistant – hat tracetronic einen entscheidenden Schritt in Richtung der Verwendung von Generativer KI zur automatisierten Testfallerstellung unternommen. Ein wesentliches Problem bestand jedoch noch in der Frage, wie die Korrektheit der generierten Testfälle zuverlässig beurteilt werden kann.
Kundenstatement:
„Die Zusammenarbeit mit den Kolleginnen und Kollegen vom Fraunhofer IIS war geprägt von umfassender Fachexpertise und professioneller Kommunikation. Zudem zeichnete sie sich durch Lösungsorientiertheit sowie einen sehr hohen wissenschaftlichen und technischen Anspruch aus“
Ziele des Kunden
Die Hauptziele des Kunden umfassen:
Insbesondere um die konstant hohe Qualität der von der KI generierten Testfälle zu gewährleisten, soll eine spezielle Evaluierungsmetrik entwickelt werden, die die Ergebnisse kontinuierlich auf ihre Richtigkeit überprüft und gleichzeitig Optimierungspotenziale erkennt.
Unser Lösungsweg
Auf Basis eines Assessment-Workshops wurde ein Arbeitsplan für eine gemeinsame, 6-monatige Bearbeitung des Usecases abgestimmt. Dabei lag die Modellentwicklung von TAIA weiterhin in der Verantwortung von tracetronic. Dies umfasste:
Das Fraunhofer IIS in Dresden übernahm die Evaluierung der von TAIA generierten Testfälle bzgl. ihrer semantischen und syntaktischen Korrektheit und entwickelte hierfür einen spezialisierten Evaluierungsansatz basierend auf der Methodik der Large Language Models (LLM).
Besonderes Augenmerk lag dabei auf der Beurteilung der semantischen Korrektheit. Für diese Aufgabe implementierten wir eine feedbackbasierte Metrik. Bei diesem Ansatz wird neben TAIA ein weiteres LLM eingesetzt, um die Ausgabe des TAIA-Modells zu überprüfen. Dieses LLM quantifiziert das TAIAs Ergebnis auf einer Skala von 1 bis 10, wobei 1 für »sehr schlecht« und 10 für »sehr gut« steht.
Das Evaluierungsframework erhält hierfür als Input einen Expertendatensatz sowie die generierten Ausgaben des TAIA-Modells. Basierend auf diesen Daten gibt das System eine binäre Bewertung der einzelnen Datenpunkte (richtig/falsch) ab. Aus den binären Bewertungen kann eine Statistik zur Genauigkeit des Modells erstellt werden, die Aufschluss darüber gibt, wie oft das Modell korrekte Vorhersagen trifft. Ein Beispiel für eine solche Statistik könnte lauten: »80 % der Vorhersagen sind korrekt«.
Ergebnisse und Mehrwert für den Kunden
Das Evaluierungsframework wurde prototypisch bei der tracetronic GmbH integriert und wird nun aktiv in der Entwicklung zum Monitoring der Qualität von TAIA verwendet. Die entwickelte Metrik ersetzt dabei eine aufwendige manuelle Prüfung durch erfahrene Testingenieure.
Durch die von uns entwickelten Evaluierungsmetriken konnte die Genauigkeit von TAIA um ca. 20% gesteigert und die Qualitätssicherung nahtlos in den Entwicklungsprozess integriert werden.
Vorteile des Kunden:
Das Evaluierungsframework wurde prototypisch bei der tracetronic GmbH integriert und wird nun aktiv in der Entwicklung zum Monitoring der Qualität von TAIA verwendet. Die entwickelte Metrik ersetzt dabei eine aufwendige manuelle Prüfung durch erfahrene Testingenieure.
Durch die von uns entwickelten Evaluierungsmetriken konnte die Genauigkeit von TAIA um ca. 20% gesteigert und die Qualitätssicherung nahtlos in den Entwicklungsprozess integriert werden.
Der skalierbare Einsatz von TAIA in der Fahrzeugentwicklung ist damit der Marktreife einen großen Schritt näher.
Das Unternehmen
Die tracetronic GmbH mit Hauptsitz in Dresden ist ein führendes Unternehmen im Bereich der Testautomatisierung für die Softwareentwicklung im Automobilbereich sowie artverwandten Branchen. Mit modernsten Technologien tragen sie dazu bei, manuelle Testabläufe zu reduzieren und die Prüfprozesse im Automotive-Sektor kontinuierlich zu optimieren.