Machine Learning Modelle in Java nutzen: Wie ist der Stand in 2025?

Neben den Fortschritten in der Sprache selbst und der JVM, holt Java auch in der Anwendung von KI auf. Auch wenn das Training von KI-Modellen weiter in Sprachen geschehen wird, die für Data Science prädestiniert sind bietet Java heutzutage diverse Möglichkeiten diese Modelle zu nutzen. Von diesen Möglichkeiten betrachten wir die ONNX Runtime und Spring AI.

Über die ONNX Runtime können die meisten neuronalen Netze und klassischen Machine-Learning-Modelle direkt in Java-Anwendungen eingebettet werden, ohne einen externen Service ansprechen zu müssen.

Das sich schnell entwickelnde Feld der generativen KI besteht allerdings nicht nur aus den Modellen selbst, sondern aus einer immer größer werdenden Menge an Tools und Funktionen um dieses herum. Hier bietet Spring AI ein komplettes Toolset um diverse Modelle nutzen zu können und diese mit Informationen zu versorgen, oder sie sogar selbst Funktionen aufrufen zu lassen.

Der Vortrag zeigt an konkreten Beispielen wie wir KI mit wenigen Codezeilen in Java-Anwendungen nutzen können und beleuchtet Schlagwörter wie RAG (Retrieval Augmented Generation) und MCP (Model Context Protocol).