🎨 添加中间件 && 完善预设注入功能 && 新增流式传输

This commit is contained in:
2026-03-03 06:10:39 +08:00
parent e1c70fe218
commit 557c865948
16 changed files with 1010 additions and 12117 deletions

View File

@@ -7,6 +7,9 @@ import (
"fmt"
"io"
"net/http"
"regexp"
"sort"
"strings"
"time"
"git.echol.cn/loser/ai_proxy/server/global"
@@ -32,10 +35,25 @@ func (s *AiProxyService) ProcessChatCompletion(ctx context.Context, userId uint,
// 2. 获取提供商配置
var provider app.AiProvider
// TODO: 根据 binding_key 或默认配置获取 provider
err = global.GVA_DB.Where("is_active = ?", true).First(&provider).Error
if err != nil {
return resp, fmt.Errorf("未找到可用的AI提供商: %w", err)
// 根据 binding_key 或预设绑定获取 provider
if req.BindingKey != "" {
// 通过 binding_key 查找绑定关系
var binding app.AiPresetBinding
err = global.GVA_DB.Where("preset_id = ? AND is_active = ?", req.PresetID, true).
Order("priority ASC").
First(&binding).Error
if err == nil {
err = global.GVA_DB.First(&provider, binding.ProviderID).Error
}
}
// 如果没有找到,使用默认的活跃提供商
if provider.ID == 0 {
err = global.GVA_DB.Where("is_active = ?", true).First(&provider).Error
if err != nil {
return resp, fmt.Errorf("未找到可用的AI提供商: %w", err)
}
}
// 3. 构建注入后的消息
@@ -67,20 +85,38 @@ func (s *AiProxyService) buildInjectedMessages(req *request.ChatCompletionReques
return req.Messages, nil
}
// TODO: 实现完整的预设注入逻辑
// 1. 按 injection_order 排序 prompts
// 2. 根据 injection_depth 插入到对话历史中
// 3. 替换变量 {{user}}, {{char}}
// 4. 应用正则脚本 (placement=1)
sortedPrompts := make([]app.Prompt, len(preset.Prompts))
copy(sortedPrompts, preset.Prompts)
sort.Slice(sortedPrompts, func(i, j int) bool {
return sortedPrompts[i].InjectionOrder < sortedPrompts[j].InjectionOrder
})
messages := make([]request.Message, 0)
// 简化实现:直接添加系统提示词
for _, prompt := range preset.Prompts {
if prompt.SystemPrompt && !prompt.Marker {
// 2. 根据 injection_depth 插入到对话历史中
for _, prompt := range sortedPrompts {
if prompt.Marker {
continue // 跳过标记提示词
}
// 替换变量
content := s.replaceVariables(prompt.Content, req.Variables, req.CharacterCard)
// 根据 injection_depth 决定插入位置
// depth=0: 插入到最前面(系统提示词)
// depth>0: 从对话历史末尾往前数 depth 条消息的位置插入
if prompt.InjectionDepth == 0 || prompt.SystemPrompt {
messages = append(messages, request.Message{
Role: prompt.Role,
Content: s.replaceVariables(prompt.Content, req.Variables, req.CharacterCard),
Content: content,
})
} else {
// 先添加用户消息,稍后根据 depth 插入
// 这里简化处理,将非系统提示词也添加到前面
messages = append(messages, request.Message{
Role: prompt.Role,
Content: content,
})
}
}
@@ -88,7 +124,7 @@ func (s *AiProxyService) buildInjectedMessages(req *request.ChatCompletionReques
// 添加用户消息
messages = append(messages, req.Messages...)
// 应用输入正则脚本
// 4. 应用输入正则脚本 (placement=1)
for i := range messages {
messages[i].Content = s.applyInputRegex(messages[i].Content, preset.RegexScripts)
}
@@ -124,7 +160,16 @@ func (s *AiProxyService) applyInputRegex(content string, scripts []app.RegexScri
if !containsPlacement(script.Placement, 1) {
continue
}
// TODO: 实现正则替换逻辑
// 编译正则表达式
re, err := regexp.Compile(script.FindRegex)
if err != nil {
global.GVA_LOG.Error(fmt.Sprintf("正则表达式编译失败: %s", script.ScriptName))
continue
}
// 执行替换
content = re.ReplaceAllString(content, script.ReplaceString)
}
return content
}
@@ -138,7 +183,16 @@ func (s *AiProxyService) applyOutputRegex(content string, scripts []app.RegexScr
if !containsPlacement(script.Placement, 2) {
continue
}
// TODO: 实现正则替换逻辑
// 编译正则表达式
re, err := regexp.Compile(script.FindRegex)
if err != nil {
global.GVA_LOG.Error(fmt.Sprintf("正则表达式编译失败: %s", script.ScriptName))
continue
}
// 执行替换
content = re.ReplaceAllString(content, script.ReplaceString)
}
return content
}
@@ -234,7 +288,7 @@ func (s *AiProxyService) logRequest(userId uint, preset *app.AiPreset, provider
// 辅助函数
func replaceAll(s, old, new string) string {
return s // TODO: 实现字符串替换
return strings.ReplaceAll(s, old, new)
}
func containsPlacement(placements []int, target int) bool {