Interne Developer-Befragung und gemessene Geschwin­dig­keits­unter­schiede Cloudflight über KI-Assistenten in der Software-Entwicklung

Anbieter zum Thema

Cloudflight GmbH

Board Deutschland GmbH

INFOMOTION GmbH

QUNIS GmbH

Eine Cloudflight-Studie hat den Einsatz von KI-Assistenten wie GitHub Copilot bei der Software­entwicklung untersucht. Auf Basis zweier Praxistests und einer Befragung hat die Beratungsfirma gute und unpassende Anwendungsfälle identifiziert.

In einem einmonatigen Praxistest mit 70 Entwicklerinnen und Entwicklern hat Cloudflight zunächst einmal selbst eruiert, ob und wie KI-Assistenten die Produktivität steigern können. Am effektivsten waren die Tools demnach bei der Erstellung von Dokumentation, Tests, Datenbankschemata sowie beim Refactoring und Generieren von Code, der dem Bestehenden ähnelt.

46 Prozent der KI-Nutzerinnen und -Nutzer gaben an, durch den Einsatz von KI Zeit gewonnen zu haben. 22 Prozent haben nach eigener Einschätzung hingegen Arbeitszeit verloren. Den Schätzungen der Tester zufolge belief sich die durchschnittlich eingesparte Zeit pro Arbeitstag auf 40 Minuten, in extremen Fällen gar auf eine Stunde. Zehn der 70 Testpersonen räumten allerdings auch ein, an manchen Tagen über eine Stunde durch das Herumexperimentieren mit dem KI-Assistenten verloren zu haben.

Ein Nullsummenspiel, also? Das untersuchte Cloudflight im Zuge des hauseigenen Programmierwettbewerbs, dem Cloudflight Coding Contest. Hier geht es hauptsächlich um das Erstellen von Geschäftslogik unter Zeitdruck. Kaum verwunderlich stellte sich bei dieser komplexeren Aufgabenstellung heraus, dass Teilnehmer und Teilnehmerinnen ohne KI-Nutzung im Durchschnitt etwas schneller waren.

Die Aufgabenstellung war in sieben verschiedene Level aufgeteilt. In der zweiten Stufe waren die Konkurrenten ohne KI-Unterstützung rund elf Minuten schneller (43 zu 54 Minuten), in Level 3 summierte sich der Abstand um weitere fünf Minuten auf (95 zu 111 Minuten). Die vierte Stufe bewältigten nur noch fünf Prozent der Wettbewerberinnen und Wettbewerber (24 KI-Nutzer und 29 Nicht-KI-Nutzer), Level 6 und 7 wurden ausschließlich von ein paar Teilnehmenden ohne KI-Nutzung erreicht.

Bei der Befragung zu KI-Nutzung beim Programmieren gaben 71 Prozent der 1040 Teilnehmenden an, dem Einsatz von KI-Helfern gegenüber offen zu sein – oft in einer Kombination aus mehreren Sprachmodellen mit ihren jeweiligen Stärken und Schwächen. ChatGPT und GitHub Copilot waren die beliebtesten der insgesamt 15 Tools.

Stärken und Grenzen berücksichtigen

Das Fazit von Cloudflight: GitHub Copilot ist vor allem hilfreich bei sich wiederholenden Aufgaben wie der Generierung von Dokumentation, bei Unit- und Integrationstests oder Datenbankschemata. Als negativ stellten die Befragten heraus, dass sie mit GitHub Copilot auf ChatGPT als einziges Modell beschränkt und damit wenig flexibel seien.

Dies ist vor allem dann eine Herausforderung, wenn ein nicht zu unterschätzendes Problem auftritt, wie Cloudflight argumentativ untermauert. Bis neue Inhalte in ein Sprachmodell einfließen, können mehrere Monate vergehen. GitHub Copilot habe teils keine Antworten zu aktuellen Versionen von Bibliotheken oder Dokumentationen geliefert, und stattdessen veralteten Code sowie fehlerhafte Antworten generiert.

Intern hätten die Testpersonen die KI-Tools vor allem als Sparringspartner genutzt, unterstrich Harald Radi, Geschäftsführer Cloudflight Österreich: „Größere Codebases würden [...] deutlich mehr Kontextwissen erfordern, wodurch aktuelle KI-Assistenten aufgrund der beschränkten Größe ihres Modellkontexts noch technische Einschränkungen aufweisen.“ Mehr als die Hälfte glaubt jedoch, dass die Effektivität im Laufe der Zeit zunehmen wird, wenn die KI-Nutzung besser in den eigenen Workflow integriert wird.

Insgesamt kommt die Studie zu dem Schluss, dass KI-Assistenten die Produktivität steigern können, wenn ihre Stärken und Grenzen beim konkreten Einsatz berücksichtigt werden. Sie bieten vor allem bei routinemäßigen und repetitiven Aufgaben wie Dokumentation und Tests einen Nutzen. Für komplexere kreative Aufgaben sind die Fähigkeiten heutiger KI-Modelle noch begrenzt.

(ID:50117290)