LLMs in der IDE: Die NETWAYS Managed AI-Models API für datenschutzkonforme KI-Entwicklung

KI-Assistenz direkt in der Entwicklungsumgebung

Die Integration von Large Language Models (LLMs) in Integrated Development Environments (IDEs) hat die Softwareentwicklung revolutioniert. Entwickler profitieren von intelligenter Code-Vervollständigung, automatischer Dokumentation und kontextbezogenen Vorschlägen, direkt im Editor. Doch viele Cloud-basierte KI-Dienste werfen Fragen zum Datenschutz auf, insbesondere wenn in sensiblen Projekten gearbeitet werden soll.

Die NETWAYS Managed AI-Models API bietet hier eine attraktive Alternative: Eine OpenAI-kompatible API-Schnittstelle, die DSGVO-konform arbeitet und sowohl leistungsstarke Sprachmodelle (aktuell gpt-oss-120b) als auch Embeddings (BAAI/bge-m3) bereitstellt. In diesem Artikel zeigen wir, wie du diese API in beliebte IDE-Plugins wie RooCode und Cline integrieren und durch semantische Suche noch produktiver werden kannst.

Warum eine selbstverwaltete LLM-API?

Datenschutz und DSGVO-Konformität

Der entscheidende Vorteil der NETWAYS Managed AI-Models API liegt in ihrer DSGVO-Konformität. Daten, die du mit der NETWAYS Managed AI-Models API teilst, werden in deutschen, DSGVO- und ISO27001-konformen Rechenzentren verarbeitet und zu keinem Zeitpunkt für weiteres Training genutzt. Das ist oft ein kritischer Punkt für Unternehmen, die mit sensiblen Daten arbeiten oder strenge Compliance-Anforderungen erfüllen müssen.

OpenAI-Kompatibilität

Die API folgt dem OpenAI-Standard, was die Integration vereinfacht: Plugins, die ursprünglich für OpenAI entwickelt wurden, lassen sich mit minimalen Anpassungen verwenden. Sie nutzen bekannte Endpoints wie /v1/chat/completions oder /v1/embeddings.

Leistungsstarke Modelle

• gpt-oss-120b: Ein Open-Source-Modell mit 120 Milliarden Parametern für Code-Generierung, Refactoring und Dokumentation
• BAAI/bge-m3: Ein mehrsprachiges Embedding-Modell für semantische Codesuche und Retrieval-Augmented Generation (RAG)

Einrichtung der API in IDE-Plugins

Die Konfiguration folgt bei den meisten Plugins einem einheitlichen Schema. Du benötigst lediglich:

• API Base URL: Die Basis-URL der Managed AI-Models API https://api.ai.nws.netways.de/v1
• API Key: Deinen Authentifizierungstoken
• Model Name: Die Modell-ID (z.B. gpt-oss-120b)

Konfiguration für RooCode und Cline

Für RooCode:

1. Öffne die Extension-Einstellungen in VS Code
2. Navigiere zu RooCode Settings
3. Wähle als Provider „OpenAI Compatible“
4. Trage die API Base URL ein: https://api.ai.nws.netways.de/v1
5. Füge deinen API Key hinzu
6. Setze das Modell auf gpt-oss-120b
7. Optional: unter Über RooCode die Option Anonyme Fehler- und Nutzungsberichte zulassen deaktivieren

Für Cline:

1. Klicke auf das Cline-Icon in der VS Code Sidebar
2. Wähle „Settings“ > „API Configuration“
3. API Provider: „OpenAI Compatible“
4. Base URL, API Key und Model Name wie bei RooCode eintragen und optional Nutzungsberichte deaktivieren

Für andere OpenAI-kompatible Plugins: Das Prinzip bleibt identisch, die meisten Plugins bieten ein Feld für „Custom API Endpoint“ oder „OpenAI Compatible Provider“, wo du diese drei benötigten Parameter hinterlegen kannst.

Semantische Suche mit Embeddings: RAG für Deine Codebase

Die wahre Stärke der Managed AI-Models API zeigt sich beim Einsatz von Retrieval-Augmented Generation (RAG). Statt dem LLM nur den aktuellen Code-Kontext zu geben, ermöglichen Embeddings die semantische Durchsuchung deiner gesamten Codebase. Hierfür kannst du lokal die Open Source-Vektordatenbank Qdrant nutzen.

Bei einer Anfrage wird der Such-String ebenfalls in einen Vektor umgewandelt. Qdrant findet dann die k nächsten Nachbarn (k-Nearest Neighbors, Top-K) im Vektorraum deiner indexierten Codebase und gibt die relevantesten Code-Snippets zurück an z.B. RooCode, welches diese wiederum als Kontext an das Textmodell weitergibt.

Integration mit RooCode und Qdrant

RooCode unterstützt die Indexierung deiner Codebase und speichert die Embeddings in Qdrant. Der komplette Ablauf sieht hierbei so aus:

1. Codebase indexieren: RooCode analysiert deine Dateien, splittet sie in sinnvolle Chunks und erstellt Embeddings mit Hilfe eines Embedding-Modells.
2. Vektoren speichern: Die hochdimensionalen Vektoren werden mit Metadaten (Dateipfad, Zeilennummer) in Qdrant abgelegt
3. Vektor-Suche: Bei einer Anfrage wird auch diese in einen Vektor umgewandelt
4. k-Nearest Neighbour Retrieval: Qdrant findet die Top-K ähnlichsten Code-Abschnitte im Vektorraum
5. Retrieval Augmented Generation: Das LLM erhält die gefundenen Code-Snippets als zusätzlichen Kontext und generiert eine informierte Antwort

Qdrant mit Docker starten

# Start Qdrant container
docker run -d \
  --name qdrant \
  -p 6333:6333 \
  -p 6334:6334 \
  -v $(pwd)/qdrant_storage:/qdrant/storage \
  qdrant/qdrant

# Verify it's running
curl http://localhost:6333/health

# The Qdrant Web UI is running at `http://localhost:6333/dashboard`.

Nach dem Start von Qdrant muss die Vektordatenbank in RooCode konfiguriert und die Indexierung angestoßen werden: 

1. Wenn RooCode geöffnet ist, klicke unten rechts neben den Chat auf das Datenbank Symbol
2. Aktiviere „Enable Codebase Indexing“
3. Trage die API Base URL ein https://api.ai.nws.netways.de/v1
4. Füge deinen API Key hinzu
5. Setze das Modell auf BAAI/bge-m3
6. Setze die Modell-Dimension auf 1024
7. Trage die Qdrant URL ein http://localhost:6333
8. Starte die Indexierung

Fazit: KI-Assistenz ohne Kompromisse

Die NETWAYS Managed AI-Models API ermöglicht leistungsstarke KI-Integration in deine Entwicklungsumgebung, ohne Datenschutz-Bedenken. Die OpenAI-Kompatibilität sorgt für reibungslose Integration in beliebte Tools, während die Embedding-Unterstützung semantische Codesuche und RAG-Workflows ermöglicht.

Mit der beschriebenen Einrichtung in RooCode, Cline und anderen Plugins sowie der Integration von Qdrant für Vektor-Suche hast du eine vollständige, DSGVO-konforme KI-Pipeline für deinen Entwickleralltag.