Tutorial 17~25 MinutenFortgeschritten
LLM Integration
Native Unterstützung für Large Language Models in Velisch.
Was du lernen wirst
- LLM-Provider integrieren (OpenAI, Anthropic)
- Chat Completions und Embeddings
- Streaming-Responses
1
LLM-Clients
Chat Completion
Konversationen mit LLMs
Embeddings
Vektor-Repräsentationen
Streaming
Echtzeit-Antworten
2
OpenAI Integration
import { ai } from "std:ai";
@POST("/api/chat")
fn chat(prompt: string): ChatResponse {
let model = ai.loadModel("gpt-4o");
let response = await model.complete({
prompt: prompt,
maxTokens: 500,
temperature: 0.7,
systemPrompt: "Du bist ein hilfreicher Assistent.",
});
return ChatResponse {
message: response.text,
tokens: response.usage.totalTokens,
};
}
// Mit Chat-History
@POST("/api/conversation")
fn conversation(messages: List<Message>): string {
let chat = ai.createChat("gpt-4o");
for (msg in messages) {
chat.addMessage(msg.role, msg.content);
}
return await chat.send();
}3
Embeddings
// Embeddings für semantische Suche
@POST("/api/embed")
fn createEmbedding(text: string): Vector {
return ai.embeddings(text, "text-embedding-3-small");
}
// Batch-Embeddings
fn embedDocuments(docs: List<string>): List<Vector> {
return docs.map(doc => ai.embeddings(doc, "text-embedding-3-small"));
}Zusammenfassung
Was du gelernt hast:
- LLM-Integration
- Chat und Embeddings
Nächste Schritte:
- ML Training