Tutorial 17~25 MinutenFortgeschritten

LLM Integration

Native Unterstützung für Large Language Models in Velisch.

Was du lernen wirst

  • LLM-Provider integrieren (OpenAI, Anthropic)
  • Chat Completions und Embeddings
  • Streaming-Responses
1

LLM-Clients

Chat Completion

Konversationen mit LLMs

Embeddings

Vektor-Repräsentationen

Streaming

Echtzeit-Antworten

2

OpenAI Integration

import { ai } from "std:ai";

@POST("/api/chat")
fn chat(prompt: string): ChatResponse {
    let model = ai.loadModel("gpt-4o");
    
    let response = await model.complete({
        prompt: prompt,
        maxTokens: 500,
        temperature: 0.7,
        systemPrompt: "Du bist ein hilfreicher Assistent.",
    });
    
    return ChatResponse {
        message: response.text,
        tokens: response.usage.totalTokens,
    };
}

// Mit Chat-History
@POST("/api/conversation")
fn conversation(messages: List<Message>): string {
    let chat = ai.createChat("gpt-4o");
    
    for (msg in messages) {
        chat.addMessage(msg.role, msg.content);
    }
    
    return await chat.send();
}
3

Embeddings

// Embeddings für semantische Suche
@POST("/api/embed")
fn createEmbedding(text: string): Vector {
    return ai.embeddings(text, "text-embedding-3-small");
}

// Batch-Embeddings
fn embedDocuments(docs: List<string>): List<Vector> {
    return docs.map(doc => ai.embeddings(doc, "text-embedding-3-small"));
}

Zusammenfassung

Was du gelernt hast:

  • LLM-Integration
  • Chat und Embeddings

Nächste Schritte:

  • ML Training