Cos'è un proxy API: principi di funzionamento, rischi comuni e checklist di scelta

Il percorso di una richiesta nel gateway

Chiariamo i termini. Un "proxy API" è un gateway che espone un'interfaccia standard tra il tuo programma e il backend che esegue effettivamente il modello. Il tuo codice invia ancora le richieste nel formato OpenAI, ma punta base_url all'indirizzo del gateway e usa la chiave fornita dal gateway.

In questo passaggio, il gateway di solito fa tre cose.

• Forwarding della richiesta: convalida il formato del corpo della richiesta, completa i parametri di default se necessario e la inoltra al backend; il contenuto restituito dal backend (inclusi i frammenti SSE in streaming) ti viene inviato così com'è o con lievi modifiche.
• Mappatura delle chiavi: tu possiedi una chiave emessa dal gateway, che ha senso solo all'interno del gateway. Il gateway usa questa chiave per identificarti, verificare il saldo e determinare i modelli accessibili; le credenziali usate per comunicare con il backend restano interne al gateway e non appaiono nel tuo codice.
• Billing e rate limit: dopo ogni richiesta, il gateway deduce il saldo moltiplicando i token di input e output per il prezzo unitario, e conta le richieste al minuto per chiave, restituendo un 429 se il limite viene superato.

Vedendo queste tre cose insieme, capisci perché l'esperienza varia molto: l'implementazione dello strato di forwarding determina la stabilità della latenza e dello streaming, lo strato delle chiavi determina l'impatto in caso di fuga, lo strato di billing determina se i conti sono trasparenti e verificabili.

Differenze rispetto a un servizio diretto con modello singolo

Un servizio diretto significa inviare richieste all'endpoint ufficiale del fornitore del modello; di solito un account corrisponde a un set di modelli, regole di billing e documentazione. Un servizio proxy ha due forme comuni, la differenza sta in "cosa c'è dietro".

Dimensione	Servizio diretto singolo	Proxy aggregato	Proxy a modello singolo
Numero di modelli	Alcuni del fornitore	Decine o centinaia	Uno
Formato dell'interfaccia	Formato proprietario di ciascuno	Uniformato a compatibilità OpenAI	Compatibilità OpenAI
Difficoltà di troubleshooting	Minima, catena più breve	Massima, mappatura nomi modelli complessa	Bassa, un solo modello
Casi d'uso adatti	Affidarsi a un'unica attività stabile	Necessità di cambiare spesso modello per il confronto	Modello fisso, prevedibilità garantita

Se la tua attività dipende da un solo modello, i vantaggi dell'aggregazione non si applicano e ti esponi all'incertezza su "a quale modello corrisponde il nome". Al contrario, se cambi modello ogni settimana per test comparativi, l'aggregato riduce molto il lavoro di adattamento. Non ci sono vantaggi assoluti: la chiave è capire a quale categoria appartieni.

Questo sito appartiene all'ultima categoria: offre un solo modello, con ID uncensored, tramite un'interfaccia compatibile con OpenAI per il completamento conversazionale. Per approfondire i compromessi e i costi, leggi Costi e compromessi dell'API AI illimitata.

I tre rischi più comuni

Sicurezza delle chiavi

La chiave del proxy è come una carta prepagata: chi la ottiene può spendere il tuo saldo. Le vie di fuga comuni includono: inserire la chiave nel codice frontend, commit in repository pubblici, incollarla nei ticket o negli screenshot dei gruppi. Si consiglia di conservarla solo nelle variabili d'ambiente del server; il frontend deve sempre passare attraverso il tuo backend. In caso di sospetta fuga, reimposta immediatamente la chiave e assicurati che quella vecchia venga revocata istantaneamente. Verifica anche se il servizio permette la reimpostazione autonoma e se la chiave vecchia viene invalidata subito, non "dopo qualche ora".

Sostituzione del modello

È il problema più discusso nei servizi aggregati: chiedi A, ricevi B più economico. È difficile da capire dalla documentazione, serve una verifica comportamentale. Fissa un set di domande con risposta nota e temperature per testare la stabilità dello stile; o chiedi /v1/models per verificare la coerenza con la pagina di fatturazione. Nomi ambigui o performance variabili sono campanelli d'allarme.

Limiti di velocità opachi

Alcuni servizi scrivono "uso ragionevole" ma riducono la velocità o scartano le richieste nei picchi, causando timeout occasionali. La pratica matura indica di specificare i limiti per chiave e restituire un 429 standard, non connessioni sospese. Chiedi: il rate limit è per chiave o account? Cosa succede in caso di superamento? Esiste un codice errore specifico per il saldo esaurito?

Checklist per la selezione di un servizio di proxy

Puoi copiare direttamente questa lista nel tuo documento di valutazione e spuntare ogni voce.

1. Forniscono un endpoint GET /v1/models pubblico con un elenco coerente con la pagina dei prezzi?
2. Le risposte di errore sono JSON strutturati che includono code e message, con codici 401, 402, 429 e 503 distinti?
3. Il limite di richieste al minuto per chiave è documentato e non solo comunicato verbalmente dal supporto?
4. Sono indicati valori precisi per la lunghezza del contesto, il numero massimo di token di output per richiesta e la dimensione del corpo della richiesta?
5. La fatturazione deduce con precisione il numero di token dal campo usage e il saldo è visualizzabile in qualsiasi momento?
6. Il saldo prepagato scade? È indicata chiaramente la validità del credito di prova gratuito?
7. Le chiavi possono essere reimpostate autonomamente e le chiavi precedenti diventano immediatamente invalidi?
8. È supportato lo streaming e le risposte finali includono le statistiche di usage per facilitare la riconciliazione dei costi?
9. È presente una dichiarazione esplicita sull'eventuale utilizzo dei prompt per l'addestramento?
10. Le funzionalità non supportate (ad esempio vettori, immagini, audio) sono indicate chiaramente e non in modo vago?

Il punteggio massimo è irrealistico, ma se non riesci a rispondere a due delle prime cinque voci, è consigliabile iniziare con una prova a basso costo e non ricaricare importi elevati.

Verifica dei dieci minuti dopo aver ottenuto la chiave

Indipendentemente dal servizio scelto, vale la pena dedicare dieci minuti a una verifica di base prima del lancio. Il primo passo è elencare i modelli e confermare che gli id restituiti corrispondano alle tue aspettative:

复制curl -s https://api.llmzhongzhuan.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

Al secondo passo, invia una richiesta minima e osserva se il campo usage nella risposta è presente e se i valori sono ragionevoli. L'esempio seguente forza il modello a ripetere la data per verificare se inventa informazioni che non può conoscere: si tratta di un controllo comportamentale approssimativo, non di una valutazione rigorosa:

复制curl -s https://api.llmzhongzhuan.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "用一句话介绍你自己，然后复述今天的日期是几号。"}],
    "max_tokens": 200
  }' 

Incorpora questi due passaggi nel tuo script di deployment ed eseguili ogni volta che cambi chiave o servizio. Se la risposta non include usage o se i valori di usage non corrispondono chiaramente alla lunghezza dell'input, significa che la trasparenza sui costi è carente e va chiarita prima di effettuare ricariche importanti. Per informazioni su come integrare il servizio nelle varie framework, consulta la guida alla configurazione delle framework.

Parametri del nostro servizio, per confrontarli con la checklist

Elenchiamo qui i parametri effettivi del nostro servizio per permetterti di verificare punto per punto la checklist senza dover consultare più documenti.

• Indirizzo dell'API: https://api.llmzhongzhuan.com/v1, supporta POST /v1/chat/completions e GET /v1/models, l'autenticazione avviene con una chiave Bearer.
• Un solo modello, id uncensored; solo testo, senza vettori, immagini, audio, video o fine-tuning.
• Finestra di contesto di 100.000 token (input + output), max_tokens impostato di default a 2048, massimo 32.000 per singola richiesta; corpo della richiesta non superiore a 8 MB.
• 300 richieste/min per chiave, con 429 in caso di superamento; 503 upstream_busy indica di riprovare; saldo esaurito o fine prova restituiscono 402 no_credit.
• Prezzo: 0,25 USD per milione di token di input e 1,00 USD per milione di token di output. Ricarica prepagata, nessun abbonamento, il saldo non scade mai.
• I prompt non vengono utilizzati per l'addestramento.

I valori esatti sono indicati nella pagina dei prezzi e nella documentazione. I nuovi account dispongono di un credito di prova gratuito di 0,50 USD valido per 7 giorni; la registrazione non richiede l'inserimento dei dati di pagamento e puoi utilizzarlo per completare la procedura di verifica sopra descritta.