📑 Quellen zum Vortrag AI_Wingman

⚙️ Inferenzierung von LLMs

🖥️ Lokale Inferenzierung auf eigener Hardware

🔗 LM Studio 🔗 Ollama

✨ Damit kannst du Modelle direkt auf deinem eigenen Rechner ausprobieren – perfekt zum Experimentieren ohne Cloud-Abhängigkeit.

🏢 Inferenzierung auf Server-Hardware

Wir verwenden vLLM: 🔗 vLLM Projekt auf GitHub

⚡ vLLM sorgt für hochperformante Inferenzierung und effiziente Nutzung deiner Server-Ressourcen.

---

🎯 Auswahl eines LLMs

• 📊 Benchmarks: LiveBench
• 📂 Modelle beziehen: Hugging Face
• 🤖 Derzeit im Einsatz: Qwen3-235B-A22B-GPTQ-Int4

🔍 Benchmarks helfen bei der Auswahl. Hugging Face ist die zentrale Plattform für open Source Modelle.

---

🛠️ Plugins für die IDE

💡 VS Code

• Continue.dev

🧩 JetBrains IDEs

• Proxy-AI
• Coming Soon: JetBrains AI Assistant

💡 JetBrains zieht nach – bald auch mit Nutzung eigener LLMS via OpenAI-API.

---

🌐 Zugriff über den Browser

• OpenWeb-UI

🌍 Damit bekommst du ein schickes Web-Interface und kannst eigene LLMS via OpenAI-API anbinden.

---

🚀 Booste deine LLMS mit zusätzlichem Wissen und Funktionen

📚 RAG (Retrieval Augmented Generation)

• Intro zu RAG

📖 RAG erweitert dein LLM mit eigenem Wissen – nutze Dokumente, Datenbanken oder Firmenwissen für bessere Antworten.

🔌 TOOLS mit MCP (Model Context Protocol)

• Model Context Protocol auf GitHub
• Öffentliche MCP-Server: mcp.so

🧩 Mit MCP kannst du Tools, APIs und externe Datenquellen direkt ins LLM integrieren.

---