LM Studio – LLMs lokal betreiben
LM Studio präsentiert sich als eine Plattform, die es Nutzern ermöglicht, verschiedene Large Language Models (LLMs) lokal auf ihren Geräten zu betreiben. Die Software, die für Mac (M1/M2), Windows und in einer Beta-Version für Linux verfügbar ist, zielt darauf ab, die…
LM Studio präsentiert sich als eine Plattform, die es Nutzern ermöglicht, verschiedene Large Language Models (LLMs) lokal auf ihren Geräten zu betreiben. Die Software, die für Mac (M1/M2), Windows und in einer Beta-Version für Linux verfügbar ist, zielt darauf ab, die Anwendung von KI-Modellen zu vereinfachen und zugänglicher zu machen. Mit der Version 0.2.8 führt LM Studio neue Funktionen ein, darunter einen lokalen Server und automatische Prompt-Formatierung zur Qualitätssteigerung der Ausgaben durch AutoGen.
Die Möglichkeit, LLMs vollständig offline zu betreiben, ist ein signifikanter Vorteil für Nutzer, die aus Datenschutzgründen oder aufgrund von Internetbeschränkungen eine lokale Ausführung bevorzugen. Die Unterstützung für ggml Llama, MPT und StarCoder Modelle von Hugging Face erweitert das Spektrum der Anwendbarkeit von LM Studio erheblich. Die Mindestanforderungen sind dabei klar definiert: Ein M1/M2 Mac oder ein Windows-PC mit AVX2-Unterstützung, während Linux-Nutzer sich über die Beta-Version freuen können.