Gute Nachrichten, wenn Sie ein Ollama-Benutzer für alles rund um LLM sind, Freunde!
Sie haben gerade native Unterstützung für Hugging Face implementiert! Auf Französisch bedeutet dies, dass Sie jetzt alle auf Hugging Face vorhandenen GGUF mit einer einfachen Befehlszeile ausführen können. Und wenn ich einige sage, dann mache ich keine Witze: Derzeit gibt es über 45.000 öffentliche GGUF-Modelle im Hub!
Die Syntax ist kinderleicht:
ollama run hf.co/{username}/{reponame}:latest Um beispielsweise das neueste Llama3.2 im GGUF-Format zu starten, holen Sie sich einfach eines auf Hugging Face und führen Sie den folgenden Befehl aus:
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF Unglaublich, oder? Aber warten Sie, das ist noch nicht alles!
Standardmäßig verwendet Ollama das Quantisierungsschema Q4_K_M, sofern verfügbar. Wenn Sie jedoch wählerisch sein möchten, können Sie Ihr Muster wie folgt festlegen:
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M Wenn Sie ein Repository mit einem GGUF verwalten, können Sie auch die Chat-Vorlage und die Vorlageneinstellungen anpassen. Fügen Sie einfach eine Datei hinzu template (für das Chat-Modell) oder params (für Einstellungen) in Ihrem Hugging Face-Repository. Es handelt sich um ein Go-Modell, nicht um Jinja. Seien Sie also vorsichtig, wenn Sie sich mit Modellen auskennen!
Hier sind einige andere tolle Designs zum Ausprobieren:
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF Sind Sie also bereit, Ihren Computer in eine allwissende KI-Maschine zu verwandeln? Mit Ollama und Hugging Face ist es, als wäre es schon geschehen!
Viel Spaß!
Frankreich
