Vielversprechend:
Nachhaltige(re) KI

Nachhaltigkeit ist ein ethischer Wert der verantwortungsvollen Entwicklung und Anwendung Künstlicher Intelligenz. Ein Artikel, der bereits 2019 auf der ACL präsentiert wurde, erregte diesbezüglich große Aufmerksamkeit: Strubel et al. zeigten, wie teuer es ist, große Sprachmodelle zu trainieren. Sie schätzten, dass das Training eines großen Transformer-Modells inkl. Netzarchitektur- und Hyperparameter-Optimierung in etwa 5x so viel CO2 produziert wie ein Auto in seinem gesamten Lebenszyklus einschließlich des verbrauchten Benzins und dabei zwischen 1 und 3 Millionen US-Dollar in Cloud Compute-Zeit kostet. Sharir et al. schätzten ähnliche Kosten ab.

Dank Henderson et al. gibt es nun eine Python-Bibliothek, die es (unter UNIX und macOS) ermöglicht, den Energie-Verbrauch von Modell-Training und -Anwendung zu messen und standardisierte Reports zu erstellen. Diesen Bemühungen folgte inzwischen sogar ein Workshop der EMNLP-Konferenz 2020 zum Thema nachhaltiges Natural Language Processing. Im Rahmen dieses Workshops wurde auch ein Wettbewerb organisiert, in dem die Performanz und die Energieeffizienz moderner Transformer-Architekturen verglichen wurden.

Für die Praxis bedeutet das:

Energieeffiziente Modelle sind nicht nur nachhaltig, sondern auch ökonomisch.

Benötigt ein Modell im Training und v.a. in der Produktion weniger Rechenleistung bzw. Rechenzeit, muss weniger Cloud Compute-Zeit gemietet werden bzw. reicht dann ggf. auch eine günstigere, weniger gut ausgestattete Cloud Computing Instance. Energieeffiziente Modelle sparen dadurch Geld. Dementsprechend lohnt es sich, Modellqualität und Modelleffizienz gegeneinander abzuwägen, sogar schon während der Modellentwicklung.

Contact Us

Not all important information
are in tables.

Make use of what is in the texts and graphics of your reports. Contact us!