Umfassende Testautomatisierungs- und Regressionstestlösung für Siemens PLM Software
Kontext & Herausforderung
Siemens PLM Software ist ein weltweit führender Anbieter von Product Lifecycle Management (PLM)-Software und -Services mit 69.500 Kunden weltweit.
Ihre Top-100-Kunden nutzen diese Technologie im Schnitt seit 18 Jahren – lange vor anderen Softwareunternehmen. Alle sechs Monate werden Major Releases veröffentlicht, Patches verteilt, auch in kundenspezifischen Varianten. Darüber hinaus werden Produktaktualisierungen, basierend auf unterschiedlichen Plattformen der Kunden, für die unterschiedlichsten Betriebssysteme und Browser erstellt. Die Gesamtzahl der Testfälle für ein derart komplexes Produkt geht dabei in die Zehntausende.
Während Änderungen wie Bugfixes und neue Funktionen in jedem Release erfolgreich eingeführt werden, ist es nahezu unmöglich, Regressionstests aller Testfälle in der Zeit vor einem Release-Termin durchzuführen. Dies führte zu Qualitätsproblemen bei Endanwendern und/oder Verzögerungen bei der Auslieferung. Im Allgemeinen basierte der Testprozess auf selektiven Tests durch Fachexperten. Mit der Größe und Komplexität des Produkts reichte die Anzahl und Verfügbarkeit der Fachexperten jedoch nicht aus.
Ziel war es daher, mit Automatisierungslösungen die Herausforderungen bei den Regressionstests anzugehen. Eine Automatisierung war zuvor mit internen Ressourcen gestartet worden, die das Produkt und das Automatisierungsverfahren kannten. Ein Pilotprogramm ergab Hunderte erfolgreicher Testfälle.
Die eigentliche Herausforderung bestand jedoch darin, die Automatisierung der Regression auf Zehntausende von Testfällen zu skalieren. Siemens entschied sich, seine Aufgabenstellung mit dem Testspezialisten Expleo zu besprechen.
Lösung & Ergebnisse
Expleo stellt als Lösung das Automatisierungs-Framework über die eigene Test Automation FaQtory® bereit, die automatisiertes Testen in großem Umfang ermöglicht.
Skalierbarkeit wie am Fließband
Nach der Problemanalyse kam Expleo zu dem Schluss, dass die Skalierbarkeit durch die Verwendung des „Fließbandmodells“ aus der Fertigung erreicht werden kann. Alle Stationen haben dabei ihre Schnittstellen zu anderen Stationen klar definiert, wodurch die Gesamteffizienz des Fließbands unterstützt wird.
Die Automatisierungsarbeiten wurden in drei „Stationen“ aufgeteilt:
- Fachexperten – kennen das Produkt, sind aber keine Automatisierungsexperten
- Framework-Designer – Automatisierungsexperten, die das Produkt in begrenztem Umfang kennen
- Automatisierungsteam – Automatisierungsexperten, die das Produkt nicht kennen müssen
Die Skalierbarkeit wurde durch die Erweiterung des Automatisierungsteams erreicht – für Expleo als Qualitätssicherungsexperten war dies problemlos möglich – während gleichzeitig die relativ kleinen Teamgrößen der Fachexperten und der Framework-Designer beibehalten wurden.
Auch Siemens PLM ist aktiv am Testprozess beteiligt, da die Fachexperten von Siemens PLM stammen und das Framework- Designteam aus Mitarbeitern von Siemens PLM und Expleo zusammengesetzt ist.
Output-basierte Preisgestaltung
Eines der wichtigsten Merkmale dieses Modells ist die output-basierte Preisgestaltung, die lediglich den Preis für Automatisierung, Ausführung und Pflege eines Testfalls beinhaltet. Dies bedeutet, es wird transparent in Rechnung gestellt, was geliefert wird.
Kalibrierungsphase
Dem Auftrag ging eine Kalibrierphase voraus, in der ein Mustersatz komplexer Testfälle automatisiert wurde; Zum einen zur Validierung des Tools und des Frameworks, zum anderen auch zur Kalibrierung der Stückpreise. Bei der Kalibrierung werden die Anzahl der zu automatisierenden Testfälle und der Release-Plan des Produkts, bzw. der Anwendung berücksichtigt, der die Ausführungshäufigkeit der automatisierten Regressionssuite bestimmt.
Mehrjähriges Mandat mittels agiler Methodik
Nutzen für den Kunden
Echte Partnerschaft
Der Ansatz schuf eine echte Partnerschaft zwischen dem Kunden und Expleo, wobei sich jeder Partner auf seine Kernkompetenzen konzentrierte. Der erforderliche Umfang der Testautomatisierung war nur aufgrund der Spezialisierung von Expleo auf Testverfahren und Automatisierungslösungen, eine ihrer wichtigsten Stärken, möglich.
Risikoübertragung auf Expleo
Siemens PLM profitiert davon, indem es nur für den tatsächlich erzielten Erfolg zahlt. Das Risiko für den erfolgreichen Automatisierungseinsatz wurde somit weitgehend auf Expleo übertragen, im Gegensatz zu einem kapazitätsbasierten Auftragsmodell, bei dem das Risiko überwiegend beim Kunden liegt.
Output-basierte Preisgestaltung schafft Effizienzanreize
Der eigentliche Vorteil der output-basierten Preisgestaltung ist jedoch auf einer zweiten Ebene zu sehen. In einem kapazitätsbasierten Modell muss Effizienz nicht immer wünschenswert sein, da sie die Mitarbeiterzahl des Anbieters reduzieren kann. Im output-basierten Modell findet der Anbieter jedoch neue Wege, um die gelieferte Leistung auch kontinuierlich zu verbessern. Dieser Ansatz trägt dazu bei, Effizienz in den Prozess einzubauen. Siemens PLM kann daher von diesem Ansatz im Jahresvergleich profitieren, entweder durch einen höheren Automatisierungsgrad oder durch eine Kostensenkung bei gleichem Volumen.
QUALITÄT UND TEST
Softwaretest und -integration
Für erstklassige Ergebnisse sind Qualitätssicherung und Test der Software ebenso entscheidend, wie die Entwicklung. Unsere Teams arbeiten in gobalen Technologiezentren zusammen, um ein skalierbares und kosteneffizientes globales Liefermodell für Softwaretest und Integration zu gewährleisten.