// server/lib/aiProviders.js // // Менеджер ключей и вызовов к AI-провайдерам. // Логика ротации ключей скопирована 1:1 с поведения исходного Rust-приложения: // - у каждого провайдера свой пул ключей и свой индекс (round-robin) // - при HTTP 429/401/403 -> переключаемся на следующий ключ и пробуем снова // - при HTTP 413 (слишком большой запрос) -> ключ менять бесполезно, прерываем цикл // - для Gemini дополнительно: 429/503 -> общий backoff на 60 сек без траты попыток ротации // // Ключи берутся ТОЛЬКО из переменных окружения (.env). Никаких ключей в коде. const fetch = require('node-fetch'); function parseKeysEnv(name) { const raw = process.env[name] || ''; return raw .split(',') .map((s) => s.trim()) .filter(Boolean); } class KeyPool { constructor(envName) { this.envName = envName; this.keys = parseKeysEnv(envName); this.index = 0; } reload() { this.keys = parseKeysEnv(this.envName); if (this.index >= this.keys.length) this.index = 0; } get size() { return this.keys.length; } current() { if (this.keys.length === 0) return ''; return this.keys[this.index % this.keys.length]; } rotate() { if (this.keys.length === 0) return; this.index = (this.index + 1) % this.keys.length; } } class AIProviderManager { constructor() { this.gemini = new KeyPool('GEMINI_API_KEYS'); this.groq = new KeyPool('GROQ_API_KEYS'); this.github = new KeyPool('GITHUB_MODELS_API_KEYS'); // лог событий ротации/ошибок, который можно отдавать на фронт (живая лента) this.eventLog = []; } reloadAllKeys() { this.gemini.reload(); this.groq.reload(); this.github.reload(); } log(line) { const entry = { time: new Date().toISOString(), text: line }; this.eventLog.push(entry); if (this.eventLog.length > 300) this.eventLog.shift(); console.log(line); return entry; } status() { return { gemini: { count: this.gemini.size, index: this.gemini.index }, groq: { count: this.groq.size, index: this.groq.index }, github: { count: this.github.size, index: this.github.index }, }; } // ────────────────────────────────────────────────────────────────── // GROQ // ────────────────────────────────────────────────────────────────── async callGroq({ systemPrompt, userPrompt, model = 'llama-3.3-70b-versatile', maxTokens = 16384, temperature = 0.3 }) { if (this.groq.size === 0) { this.log('❌ Groq: нет ключей в пуле (GROQ_API_KEYS пуст)'); return { ok: false, error: 'no_keys', provider: 'groq' }; } const attempts = this.groq.size; let lastError = null; for (let attempt = 0; attempt < attempts; attempt++) { const key = this.groq.current(); try { const res = await fetch('https://api.groq.com/openai/v1/chat/completions', { method: 'POST', headers: { Authorization: `Bearer ${key}`, 'Content-Type': 'application/json', }, body: JSON.stringify({ model, messages: [ { role: 'system', content: systemPrompt }, { role: 'user', content: userPrompt }, ], max_tokens: maxTokens, temperature, }), timeout: 90000, }); if (res.ok) { const json = await res.json(); const text = json?.choices?.[0]?.message?.content; if (text) { this.log(`✅ Groq ответил (ключ №${this.groq.index + 1}/${this.groq.size})`); return { ok: true, text, provider: 'groq', model }; } } else { const code = res.status; const reason = code === 401 ? 'неверный ключ' : code === 429 ? 'лимит исчерпан — ротация' : code === 503 ? 'сервис недоступен' : 'ошибка'; this.log(`⚠️ Groq ключ №${this.groq.index + 1} — HTTP ${code}: ${reason}`); lastError = { status: code, reason }; if (code === 429 || code === 401) { this.groq.rotate(); } } } catch (e) { this.log(`❌ Сетевая ошибка Groq (ключ №${this.groq.index + 1}): ${e.message}`); lastError = { status: 0, reason: e.message }; this.groq.rotate(); } if (attempt + 1 < attempts) await sleep(300); } this.log(`❌ Groq: все ${attempts} ключей не ответили`); return { ok: false, error: 'all_keys_failed', provider: 'groq', lastError }; } // ────────────────────────────────────────────────────────────────── // GROQ — агентный режим (function calling, multi-turn). // `messages` — это уже готовый массив сообщений OpenAI-формата (system/user/ // assistant/tool), его собирает и докручивает агентный цикл в chatEngine.js. // Возвращает либо { ok, text } (модель закончила и ответила текстом), либо // { ok, toolCalls } (модель просит вызвать один или несколько инструментов). // ────────────────────────────────────────────────────────────────── async callGroqAgentic({ messages, tools, model = 'llama-3.3-70b-versatile', maxTokens = 16384, temperature = 0.2 }) { if (this.groq.size === 0) { this.log('❌ Groq (агент): нет ключей в пуле (GROQ_API_KEYS пуст)'); return { ok: false, error: 'no_keys', provider: 'groq' }; } const attempts = this.groq.size; let lastError = null; for (let attempt = 0; attempt < attempts; attempt++) { const key = this.groq.current(); try { const res = await fetch('https://api.groq.com/openai/v1/chat/completions', { method: 'POST', headers: { Authorization: `Bearer ${key}`, 'Content-Type': 'application/json', }, body: JSON.stringify({ model, messages, tools, tool_choice: 'auto', max_tokens: maxTokens, temperature, }), timeout: 90000, }); if (res.ok) { const json = await res.json(); const msg = json?.choices?.[0]?.message; if (msg?.tool_calls?.length) { return { ok: true, toolCalls: msg.tool_calls, provider: 'groq', model, rawMessage: msg }; } if (msg?.content) { this.log(`✅ Groq (агент) ответил текстом (ключ №${this.groq.index + 1}/${this.groq.size})`); return { ok: true, text: msg.content, provider: 'groq', model }; } // Пустой ответ без tool_calls и без текста — считаем сбоем этого ключа, // не зацикливаем агента на пустоте. lastError = { status: 0, reason: 'empty_response' }; } else { const code = res.status; if (code === 413) { this.log('🔄 Groq (агент): HTTP 413 — запрос слишком большой, ротация ключей бесполезна'); return { ok: false, error: 'too_large', provider: 'groq' }; } const reason = code === 401 ? 'неверный ключ' : code === 429 ? 'лимит исчерпан — ротация' : code === 503 ? 'сервис недоступен' : 'ошибка'; this.log(`⚠️ Groq (агент) ключ №${this.groq.index + 1} — HTTP ${code}: ${reason}`); lastError = { status: code, reason }; if (code === 429 || code === 401) { this.groq.rotate(); } } } catch (e) { this.log(`❌ Сетевая ошибка Groq (агент, ключ №${this.groq.index + 1}): ${e.message}`); lastError = { status: 0, reason: e.message }; this.groq.rotate(); } if (attempt + 1 < attempts) await sleep(300); } this.log(`❌ Groq (агент): все ${attempts} ключей не ответили`); return { ok: false, error: 'all_keys_failed', provider: 'groq', lastError }; } // ────────────────────────────────────────────────────────────────── // GitHub Models (OpenAI-совместимый, gpt-4o) // ────────────────────────────────────────────────────────────────── async callGithubModels({ systemPrompt, userPrompt, model = 'gpt-4o', maxTokens = 16384, temperature = 0.2 }) { if (this.github.size === 0) { this.log('❌ GitHub Models: нет ключей в пуле (GITHUB_MODELS_API_KEYS пуст)'); return { ok: false, error: 'no_keys', provider: 'github' }; } const attempts = this.github.size; let lastError = null; for (let attempt = 0; attempt < attempts; attempt++) { const key = this.github.current(); try { const res = await fetch('https://models.inference.ai.azure.com/chat/completions', { method: 'POST', headers: { Authorization: `Bearer ${key}`, 'Content-Type': 'application/json', }, body: JSON.stringify({ model, messages: [ { role: 'system', content: systemPrompt }, { role: 'user', content: userPrompt }, ], max_tokens: maxTokens, temperature, }), timeout: 180000, }); if (res.ok) { const json = await res.json(); const text = json?.choices?.[0]?.message?.content; if (text) { this.log(`✅ GitHub Models ответил (ключ №${this.github.index + 1}/${this.github.size})`); return { ok: true, text, provider: 'github', model }; } } else { const code = res.status; if (code === 413) { this.log('🔄 GitHub Models: HTTP 413 — запрос слишком большой, ротация ключей бесполезна'); return { ok: false, error: 'too_large', provider: 'github' }; } const reason = code === 401 ? 'неверный ключ / нет прав' : code === 403 ? 'доступ запрещён' : code === 429 ? 'лимит — ротация' : code === 503 ? 'перегружен' : 'ошибка'; this.log(`⚠️ GitHub Models ключ №${this.github.index + 1} — HTTP ${code}: ${reason}`); lastError = { status: code, reason }; if (code === 401 || code === 403 || code === 429) { this.github.rotate(); } } } catch (e) { this.log(`❌ Сетевая ошибка GitHub Models (ключ №${this.github.index + 1}): ${e.message}`); lastError = { status: 0, reason: e.message }; this.github.rotate(); } if (attempt + 1 < attempts) await sleep(500); } this.log(`❌ GitHub Models: все ${attempts} ключей не ответили`); return { ok: false, error: 'all_keys_failed', provider: 'github', lastError }; } // ────────────────────────────────────────────────────────────────── // GitHub Models — агентный режим (function calling, multi-turn, OpenAI-формат). // ────────────────────────────────────────────────────────────────── async callGithubModelsAgentic({ messages, tools, model = 'gpt-4o', maxTokens = 16384, temperature = 0.15 }) { if (this.github.size === 0) { this.log('❌ GitHub Models (агент): нет ключей в пуле (GITHUB_MODELS_API_KEYS пуст)'); return { ok: false, error: 'no_keys', provider: 'github' }; } const attempts = this.github.size; let lastError = null; for (let attempt = 0; attempt < attempts; attempt++) { const key = this.github.current(); try { const res = await fetch('https://models.inference.ai.azure.com/chat/completions', { method: 'POST', headers: { Authorization: `Bearer ${key}`, 'Content-Type': 'application/json', }, body: JSON.stringify({ model, messages, tools, tool_choice: 'auto', max_tokens: maxTokens, temperature, }), timeout: 180000, }); if (res.ok) { const json = await res.json(); const msg = json?.choices?.[0]?.message; if (msg?.tool_calls?.length) { return { ok: true, toolCalls: msg.tool_calls, provider: 'github', model, rawMessage: msg }; } if (msg?.content) { this.log(`✅ GitHub Models (агент) ответил текстом (ключ №${this.github.index + 1}/${this.github.size})`); return { ok: true, text: msg.content, provider: 'github', model }; } lastError = { status: 0, reason: 'empty_response' }; } else { const code = res.status; if (code === 413) { this.log('🔄 GitHub Models (агент): HTTP 413 — запрос слишком большой, ротация ключей бесполезна'); return { ok: false, error: 'too_large', provider: 'github' }; } const reason = code === 401 ? 'неверный ключ / нет прав' : code === 403 ? 'доступ запрещён' : code === 429 ? 'лимит — ротация' : code === 503 ? 'перегружен' : 'ошибка'; this.log(`⚠️ GitHub Models (агент) ключ №${this.github.index + 1} — HTTP ${code}: ${reason}`); lastError = { status: code, reason }; if (code === 401 || code === 403 || code === 429) { this.github.rotate(); } } } catch (e) { this.log(`❌ Сетевая ошибка GitHub Models (агент, ключ №${this.github.index + 1}): ${e.message}`); lastError = { status: 0, reason: e.message }; this.github.rotate(); } if (attempt + 1 < attempts) await sleep(500); } this.log(`❌ GitHub Models (агент): все ${attempts} ключей не ответили`); return { ok: false, error: 'all_keys_failed', provider: 'github', lastError }; } // ────────────────────────────────────────────────────────────────── // GEMINI (текст) // ────────────────────────────────────────────────────────────────── async callGemini({ systemPrompt, userPrompt, models = ['gemini-2.5-flash', 'gemini-2.0-flash'], maxTokens = 65536, temperature = 0.3, thinkingMode = false }) { if (this.gemini.size === 0) { this.log('❌ Gemini: нет ключей в пуле (GEMINI_API_KEYS пуст)'); return { ok: false, error: 'no_keys', provider: 'gemini' }; } const payload = { contents: [ { parts: [{ text: userPrompt }], }, ], systemInstruction: systemPrompt ? { parts: [{ text: systemPrompt }] } : undefined, generationConfig: { maxOutputTokens: maxTokens, temperature }, }; if (thinkingMode) { payload.generationConfig.thinkingConfig = { thinkingBudget: 8192 }; } for (const model of models) { for (let i = 0; i < this.gemini.size; i++) { const key = this.gemini.current(); const url = `https://generativelanguage.googleapis.com/v1beta/models/${model}:generateContent?key=${key}`; try { const res = await fetch(url, { method: 'POST', headers: { 'Content-Type': 'application/json' }, body: JSON.stringify(payload), timeout: 90000, }); if (res.ok) { const json = await res.json(); const text = json?.candidates?.[0]?.content?.parts?.[0]?.text; if (text) { this.log(`✅ Gemini (${model}) ответил (ключ №${this.gemini.index + 1}/${this.gemini.size})`); return { ok: true, text, provider: 'gemini', model }; } } else { const errText = await res.text().catch(() => ''); this.log(`⚠️ Gemini [${model}] ошибка HTTP ${res.status}: ${errText.slice(0, 200)}`); if (res.status === 503 || res.status === 429) { this.log(`⚠️ Gemini [${model}] 429/503 — ротируем ключ и пробуем следующий`); this.gemini.rotate(); continue; } this.gemini.rotate(); } } catch (e) { this.log(`❌ Сетевая ошибка Gemini: ${e.message}`); this.gemini.rotate(); } } } this.log('❌ Gemini: ни один ключ/модель не ответили'); return { ok: false, error: 'all_keys_failed', provider: 'gemini' }; } // ────────────────────────────────────────────────────────────────── // GEMINI — агентный режим (function calling, multi-turn). // `contents` — уже готовый массив в формате Gemini ({role, parts}), его // собирает агентный цикл в chatEngine.js. `tools` — результат agentTools.toGeminiTools(). // Возвращает либо { ok, text }, либо { ok, toolCalls: [{name, args}] }. // ────────────────────────────────────────────────────────────────── async callGeminiAgentic({ systemPrompt, contents, tools, models = ['gemini-2.5-flash', 'gemini-2.0-flash'], maxTokens = 65536, temperature = 0.2 }) { if (this.gemini.size === 0) { this.log('❌ Gemini (агент): нет ключей в пуле (GEMINI_API_KEYS пуст)'); return { ok: false, error: 'no_keys', provider: 'gemini' }; } const payload = { contents, systemInstruction: systemPrompt ? { parts: [{ text: systemPrompt }] } : undefined, tools, generationConfig: { maxOutputTokens: maxTokens, temperature }, }; // Ключи, получившие 403 (проект заблокирован) — исключаем навсегда в этом вызове, // ротация не поможет: это не квотный лимит, а блокировка конкретного ключа. const blockedKeys = new Set(); for (const model of models) { let attemptsLeft = this.gemini.size * 2; // максимум попыток на модель (ключи × 2 — для retry после backoff) while (attemptsLeft-- > 0) { // Пропускаем заблокированные ключи let skipped = 0; while (blockedKeys.has(this.gemini.current()) && skipped < this.gemini.size) { this.gemini.rotate(); skipped++; } if (skipped >= this.gemini.size) break; // все ключи заблокированы для этой модели const key = this.gemini.current(); const url = `https://generativelanguage.googleapis.com/v1beta/models/${model}:generateContent?key=${key}`; try { const res = await fetch(url, { method: 'POST', headers: { 'Content-Type': 'application/json' }, body: JSON.stringify(payload), timeout: 90000, }); if (res.ok) { const json = await res.json(); const parts = json?.candidates?.[0]?.content?.parts || []; const functionCalls = parts.filter((p) => p.functionCall).map((p) => p.functionCall); if (functionCalls.length) { return { ok: true, toolCalls: functionCalls, provider: 'gemini', model }; } const text = parts.map((p) => p.text).filter(Boolean).join('\n'); if (text) { this.log(`✅ Gemini (агент, ${model}) ответил текстом (ключ №${this.gemini.index + 1}/${this.gemini.size})`); return { ok: true, text, provider: 'gemini', model }; } // Ни functionCall, ни текста — пустой ответ (SAFETY/MAX_TOKENS), не ротируем } else { const errText = await res.text().catch(() => ''); this.log(`⚠️ Gemini (агент) [${model}] ошибка HTTP ${res.status}: ${errText.slice(0, 200)}`); if (res.status === 403) { // Ключ заблокирован — помечаем, не ротируем зря this.log(`⚠️ Gemini (агент) [${model}] 403 — ключ №${this.gemini.index + 1} заблокирован, исключаем`); blockedKeys.add(key); this.gemini.rotate(); continue; } if (res.status === 429 || res.status === 503) { this.log(`⚠️ Gemini (агент) [${model}] ${res.status} — ротируем ключ`); this.gemini.rotate(); // Если обошли весь пул и все вернули 429/503 — короткая пауза перед retry if (this.gemini.index % this.gemini.size === 0) { this.log(`⏳ Gemini (агент) [${model}] — все ключи на rate-limit, пауза 3с перед retry`); await new Promise(r => setTimeout(r, 3000)); } continue; } this.gemini.rotate(); } } catch (e) { this.log(`❌ Сетевая ошибка Gemini (агент): ${e.message}`); this.gemini.rotate(); } } } this.log('❌ Gemini (агент): ни один ключ/модель не ответили'); return { ok: false, error: 'all_keys_failed', provider: 'gemini' }; } // ────────────────────────────────────────────────────────────────── // GEMINI VISION (фото/видео — base64 inline_data) // ────────────────────────────────────────────────────────────────── async analyzeMediaWithGemini({ base64Data, mimeType, prompt, model = 'gemini-2.5-flash' }) { if (this.gemini.size === 0) { this.log('❌ Gemini Vision: нет ключей'); return { ok: false, error: 'no_keys', provider: 'gemini' }; } const payload = { contents: [ { parts: [{ text: prompt }, { inline_data: { mime_type: mimeType, data: base64Data } }], }, ], generationConfig: { maxOutputTokens: 8192, temperature: 0.2 }, }; for (let i = 0; i < this.gemini.size; i++) { const key = this.gemini.current(); const url = `https://generativelanguage.googleapis.com/v1beta/models/${model}:generateContent?key=${key}`; try { const res = await fetch(url, { method: 'POST', headers: { 'Content-Type': 'application/json' }, body: JSON.stringify(payload), timeout: 120000, }); if (res.ok) { const json = await res.json(); const text = json?.candidates?.[0]?.content?.parts?.[0]?.text; if (text) { this.log(`✅ Gemini Vision ответил (ключ №${this.gemini.index + 1})`); return { ok: true, text, provider: 'gemini', model }; } } else if (res.status === 429 || res.status === 403) { this.log(`⚠️ Gemini Vision HTTP ${res.status} — ротация ключа`); this.gemini.rotate(); continue; } else { const errText = await res.text().catch(() => ''); this.log(`⚠️ Gemini Vision HTTP ${res.status}: ${errText.slice(0, 200)}`); } } catch (e) { this.log(`❌ Сетевая ошибка Gemini Vision: ${e.message}`); this.gemini.rotate(); } } return { ok: false, error: 'all_keys_failed', provider: 'gemini' }; } // ────────────────────────────────────────────────────────────────── // Строит честный порядок фоллбэка: preferred идёт первым, остальные // два провайдера в фиксированном резервном порядке за ним. // preferred='groq' -> ['groq', 'gemini', 'github'] // preferred='github' -> ['github', 'gemini', 'groq'] // preferred='gemini' -> ['gemini', 'groq', 'github'] // ────────────────────────────────────────────────────────────────── buildFallbackOrder(preferred) { const all = ['gemini', 'groq', 'github']; const pref = all.includes(preferred) ? preferred : 'gemini'; return [pref, ...all.filter((p) => p !== pref)]; } // ────────────────────────────────────────────────────────────────── // Универсальный вызов с фоллбэком между провайдерами. // Порядок: preferred -> остальные два по очереди (см. buildFallbackOrder). // ────────────────────────────────────────────────────────────────── async callWithFallback({ systemPrompt, userPrompt, preferred = 'gemini', maxTokens = 16384, temperature, thinkingMode = false }) { const order = this.buildFallbackOrder(preferred); let lastResult = null; for (const provider of order) { let result; // Gemini имеет контекст 1М токенов — используем его большой дефолт (65536), // а не ограниченный maxTokens от вызывающей стороны. const tempOpts = temperature !== undefined ? { temperature } : {}; if (provider === 'gemini') result = await this.callGemini({ systemPrompt, userPrompt, thinkingMode, ...tempOpts }); else if (provider === 'groq') result = await this.callGroq({ systemPrompt, userPrompt, maxTokens, ...tempOpts }); else if (provider === 'github') result = await this.callGithubModels({ systemPrompt, userPrompt, maxTokens, ...tempOpts }); else continue; if (result.ok) return result; lastResult = result; } return lastResult || { ok: false, error: 'no_provider_available' }; } // ────────────────────────────────────────────────────────────────── // Агентный вызов одного шага с фоллбэком между провайдерами. // `buildArgsForProvider` — функция (providerName) => данные для вызова // конкретного провайдера (messages/contents под его формат). // `skipProviders` — Set провайдеров, которые уже вернули too_large в // этом запросе и которые бессмысленно пробовать снова (контекст только растёт). // ────────────────────────────────────────────────────────────────── async callAgenticStep({ preferred = 'gemini', buildArgsForProvider, maxTokens = 16384, skipProviders = new Set() }) { const order = this.buildFallbackOrder(preferred).filter((p) => !skipProviders.has(p)); if (order.length === 0) { return { ok: false, error: 'no_provider_available', reason: 'all_providers_skipped' }; } let lastResult = null; for (const provider of order) { let result; // Gemini — пусть использует свой дефолт 65536; Groq/GitHub — переданный maxTokens. if (provider === 'gemini') result = await this.callGeminiAgentic({ ...buildArgsForProvider('gemini') }); else if (provider === 'groq') result = await this.callGroqAgentic({ ...buildArgsForProvider('groq'), maxTokens }); else if (provider === 'github') result = await this.callGithubModelsAgentic({ ...buildArgsForProvider('github'), maxTokens }); else continue; if (result.ok) return result; // Если провайдер вернул too_large — добавляем в skipProviders, чтобы // не гонять его на следующих шагах (контекст только растёт, 413 повторится). if (result.error === 'too_large') skipProviders.add(provider); lastResult = result; } return lastResult || { ok: false, error: 'no_provider_available' }; } } function sleep(ms) { return new Promise((resolve) => setTimeout(resolve, ms)); } module.exports = { AIProviderManager };