Ein KI-Agent ist ein Sprachmodell, dem Werkzeuge zum Aufrufen, ein Ziel und die Erlaubnis gegeben wurden, mehrere Schritte zu gehen, ohne dazwischen einen Menschen zu fragen. Ein Chatbot beantwortet eine Frage und hört auf; ein Agent handelt weiter, bis er das Ziel für erreicht hält oder sein Budget aufgebraucht ist.
A context window is the maximum amount of text, measured in tokens, that a model can consider in a single request. It holds the system instructions, the conversation so far, any documents you paste in, and the answer being generated. When the total exceeds the limit, something has to be dropped or summarised.
Retrieval-augmented generation is a pattern where the system searches your own documents for passages relevant to a question, puts those passages into the model's prompt, and asks the model to answer using them. The model's weights never change; the knowledge arrives as context at request time.
Open Weights heißt, dass die trainierte Modelldatei heruntergeladen und selbst betrieben werden kann — unter der Lizenz, die der Herausgeber gewählt hat. Open Source ist ein strengerer rechtlicher Standard, der Freiheit zur Nutzung, Untersuchung, Änderung und Weitergabe ohne Einsatzbeschränkungen verlangt. Viele verbreitete Modelle sind Open Weights, aber nicht Open Source.
AI accelerators draw far more power per rack than traditional servers, and that power has to be delivered, cooled and paid for continuously. Training a large model is a one-off spike; serving it to millions of users is a permanent load, and inference is what dominates energy use over a deployed model's life.
Almost every AI API bills per million tokens, with separate prices for input and output. Output usually costs several times more than input. Cached input, batch processing and smaller models can each cut the bill substantially, and the total for a conversation grows with history because most APIs re-send the whole thread every turn.