API Proxy Nedir: Çalışma Mekanizması, Yaygın Riskler ve Seçim Listesi

Bir istek proxy'den geçerken izlediği yol

Önce terimleri netleştirelim. “Proxy API”, uygulamanız ile modeli çalıştıran gerçek arka uç arasında, standart arayüzü dışa vuran bir ağ geçidi yerleştirir. Kodunuz istekleri OpenAI formatında göndermeye devam eder; yalnızca base_url değerini ağ geçidi adresine ve anahtarı size verilen ağ geçidi anahtarına yönlendirirsiniz.

Ağ geçidi bu atlamada genellikle üç şey yapar.

• İstek yönlendirmesi: İstek gövdesinin formatını doğrular, gerekli olduğunda varsayılan parametreleri tamamlar ve isteği arka uca iletir; arka uğun döndürdüğü içerik (akışlı SSE parçaları dahil) size aynen veya hafifçe işlenmiş şekilde geri iletilir.
• Anahtar Eşleme: Elinizdeki anahtar ağ geçidi tarafından verilmiştir ve yalnızca ağ geçidi içinde anlamlıdır. Ağ geçidi buna göre kim olduğunuzu, bakiyenizin ne kadar olduğunu ve hangi modellere erişiminizin olduğunu belirler; arka uçla iletişim kuran asıl kimlik bilgileri ağ geçidi içinde kalır ve kodunuzda görünmez.
• Faturalandırma ve Hız Limiti: Her istek döndürüldüğünde, ağ geçidi usage içindeki giriş ve çıkış token sayısını birim fiyatla çarparak bakiyeden düşer; aynı zamanda anahtar başına dakikadaki istek sayısını izler ve limiti aşanlara 429 döndürür.

Bu üç unsuru birlikte ele aldığınızda, aracı hizmetin deneyiminin neden bu kadar farklı olduğunu anlayabilirsiniz: aktarım katmanının uygulaması gecikme dalgalanmalarını ve akışın stabilitesini belirler, anahtar katmanı sızıntı durumunda ki kayıp kapsamını belirler, faturalandırma katmanı ise faturaların şeffaf olup olmadığını ve denetlenebilirliğini belirler.

Tek modelli doğrudan bağlantı hizmetinden farkı nedir

Doğrudan bağlantı hizmeti, isteğinizi doğrudan model sağlayıcısının resmi alan adına gönderdiğiniz durumdur; genellikle bir hesap bir model setine, bir faturalandırma kuralına ve bir dokümantasyona karşılık gelir. Proxy hizmeti iki yaygın forma sahiptir; fark “arkasına ne bağlandığı” ile ilgilidir.

boyut	Doğrudan Tek Hizmet	Toplayıcı Proxy	Tek Model Proxy
Model Sayısı	sağlayıcının kendi birkaç modeli	Onlarca hatta yüzlerce	Tek
API Formatı	Her sağlayıcının kendi formatı	OpenAI uyumlu hale getirilmiş	OpenAI uyumlu
Sorun Giderme Zorluğu	En düşük, en kısa yol	En yüksek, çoklu model eşlemesi	Düşük, tek model
Uygun Senaryolar	Yalnızca bir sağlayıcıya bağlı stabil iş	Modelleri sık sık değiştirerek karşılaştırmak gerekir.	Sabit model, öngörülebilirlik

Eğer işiniz yalnızca bir modele bağlıysa, toplayıcının avantajları işe yaramaz; bunun yerine “model adının kime karşılık geldiği” belirsizliğini göze alırsınız. Tersine, haftalık model karşılaştırmaları yapıyorsanız, toplayıcı çok fazla adaptasyon işinden kurtarır. Mutlak üstünlük yoktur; önemli olan hangi kategoriye ait olduğunuzu bilmektir.

Bu site son kategoriye girer: Yalnızca uncensored id'sine sahip bir model sunar ve OpenAI uyumlu sohbet tamamlama API'sidir. Bu tür seçim ve maliyet tartışmaları için Sınırsız AI API'sinin maliyeti ve ödünleri sayfasına bakabilirsiniz.

En yaygın üç risk

Anahtar Güvenliği

Aracı anahtar, ön ödemeli bir kredi kartına eşdeğerdir; kim eline geçerse bakiyenizi harcar. Yaygın sızıntı yolları şunlardır: anahtarı ön uç koduna yazmak, genel depolara yüklemek, destek biletine veya grup sohbeti ekran görüntüsüne yapıştırmak. Anahtarı yalnızca sunucu tarafı ortam değişkenlerinde tutmanız önerilir; ön uç her zaman kendi arka ucunuz üzerinden bir kez daha aktarmalıdır. Sızıntı şüphesi durumunda hemen sıfırlayın ve eski anahtarın derhal geçersiz kılınmasını sağlayın. Ayrıca hizmetin kendi kendine sıfırlamaya izin verip vermediğine ve sıfırlamadan sonra eski anahtarın anında geçersiz kılınp kılınmadığına dikkat edin; "birkaç saat sonra geçerli hale gelmesi" gibi bir gecikme olmamalıdır.

Model Değiştirme

Bu, toplayıcı hizmetlerde en çok tartışılan konudur: A modelini istersiniz, ancak daha ucuz olan B modeli döner. Bu durum dokümantasyondan anlaşılamaz; yalnızca davranışsal doğrulama ile anlaşılır. Standart cevapları olan küçük soruların bir setini ve sabit temperature değerini kullanarak tekrarlı testler yapın; çıktı stillerinin tutarlı olup olmadığına bakın. /v1/models isteği göndererek listenin faturalandırma sayfasıyla eşleşip eşleşmediğini kontrol edin. Model adlarının belirsiz olması veya aynı adın farklı zamanlarda farklı davranması dikkat çekicidir.

Şeffaf Olmayan Hız Limiti

Bazı hizmetler dokümantasyonda yalnızca “makul kullanım” yazar; ancak yoğunluk sırasında hızı sessizce düşürür veya istekleri atar; programınız aralıklı zaman aşımı olarak görünür. Olgun bir yaklaşım, her anahtar için dakikadaki istek sayısını yazar, limit aşıldığında standart 429 döndürür ve bağlantının asılı kalmasını engeller. Seçim yaparken mutlaka sorun: Hız limiti anahtar başına mı hesaplanır yoksa hesap mı kullanılır? Limit aşıldığında ne döndürülür? Bakiye bittiğinde bağımsız bir hata kodu döndürülür mü?

Aracı hizmet seçimi için kontrol listesi

Aşağıdaki listeyi değerlendirme belgenize doğrudan kopyalayıp her maddeyi tek tek işaretleyebilirsiniz.

1. Açık GET /v1/models uç noktası sağlanıyor mu? Dönen model listesi ve fiyatlandırma sayfasındaki bilgilerle eşleşiyor mu?
2. Hata yanıtları yapılandırılmış JSON formatında mı (code ve message alanları içeriyor) ve 401, 402, 429, 503 durum kodları birbirinden açıkça ayrılıyor mu?
3. Her API anahtarı için dakika başına istek limiti belgelerde yazıyor mu, yoksa sadece müşteri hizmetlerinde mi geçiyor?
4. Bağlam penceresi uzunluğu, tek istekte maksimum çıktı token sayısı ve istek gövdesi boyutu için net sayısal değerler belirtilmiş mi?
5. Faturalandırma, usage alanındaki token sayısına göre tam olarak kesiliyor mu? Bakiye istenildiğinde görüntülenebiliyor mu?
6. Ön ödemeli bakiyenin süresi doluyor mu? Ücretsiz deneme kredisi için geçerlilik süresi açıkça belirtilmiş mi?
7. Anahtarlar kendi kendine sıfırlanabilir mi ve eski anahtarlar anında geçersiz kılınır mı?
8. Akış (streaming) desteği sağlanıyor mu? Yanıtın sonunda usage istatistikleri yer alıyor mu, böylece kendi muhasebenizi kolayca yapabilirsiniz.
9. İstemlerin eğitim amacıyla kullanılıp kullanılmadığı konusunda açık bir açıklama var mı?
10. Desteklenmeyen yetenekler (örneğin vektör, görüntü, ses) dürüstçe belirtilmiş mi, yoksa belirsiz ifadeler mi kullanılıyor?

Mükemmel bir puan gerçekçi değildir, ancak ilk beş maddenin ikisinde evet cevabı alamıyorsanız, büyük bakiye yüklemeden önce küçük bir miktarla denemenizi öneririz.

API anahtarını aldıktan sonraki on dakikalık doğrulama

Hangi hizmeti seçerseniz seçin, yayına geçmeden önce temel doğrulamayı yapmak için on dakika ayırmak her zaman faydalıdır. İlk adım, model listesini oluşturmak ve dönen id'lerin beklentilerinizle eşleştiğinden emin olmaktır:

复制curl -s https://api.llmzhongzhuan.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

İkinci adım, küçük bir istek göndermek ve yanıtın usage alanının varlığını ve sayısal değerinin makul olup olmadığını gözlemlemektir. Aşağıdaki örnekte modelden tarihleri tekrarlaması istenerek, modelin kendisinin bilemeyeceği bilgileri uydurup uydurmadığı gözlemlenir. Bu, katı bir değerlendirme değil, kabaca bir davranış kontrolüdür:

复制curl -s https://api.llmzhongzhuan.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "用一句话介绍你自己，然后复述今天的日期是几号。"}],
    "max_tokens": 200
  }' 

Bu iki adımı dağıtım betiğinize ekleyin; API anahtarınızı veya hizmet sağlayıcınızı her değiştirdiğinizde bu betiği çalıştırın. Yanıtta usage alanı yoksa veya usage değerleri girdi uzunluğuyla açıkça eşleşmiyorsa, bu faturalandırma şeffaflığında bir sorun olduğunu gösterir; büyük harcamadan önce durumu netleştirmeniz gerekir. Çeşitli çerçevelerde entegrasyon hakkında daha fazla bilgi için çerçeve yapılandırma kılavuzuna bakın.

Liste ile karşılaştırma yapmanız için sitemizin parametreleri

Yukarıdaki listeyi tek tek kontrol etmeniz ve sürekli belgelere göz atmanıza gerek kalmaması için sitemizin gerçek parametrelerini burada listeliyoruz.

• Uç nokta: https://api.llmzhongzhuan.com/v1; POST /v1/chat/completions ve GET /v1/models yöntemlerini destekler; yetkilendirme Bearer API anahtarı ile yapılır.
• Sadece bir model var, id'si uncensored; yalnızca metin desteklenir, vektör, görüntü, ses, video ve ince ayar (fine-tuning) yoktur.
• Bağlam penceresi 100,000 token'dır (girdi ve çıktı toplamı), max_tokens varsayılan olarak 2048, tek istekte maksimum 32,000; istek gövdesi 8 MB'ı geçmemelidir.
• Her API anahtarı için dakika başına 300 istek limiti vardır; limiti aşmanız durumunda 429 hatası döner; 503 upstream_busy hatası, birazdan tekrar denemeniz gerektiğini gösterir; bakiyeniz bittiğinde veya deneme süresi dolduğunda 402 no_credit hatası döner.
• Fiyatlar, girdi başına milyon token için 0,25 ABD doları, çıktı başına milyon token için 1,00 ABD dolarıdır; ön ödeme ile bakiye yüklenir, abonelik yoktur, bakiye asla süresi dolmaz.
• İstemler eğitim amacıyla kullanılmaz.

Net sayısal değerler fiyatlandırma sayfası ve belgeler baz alınmalıdır. Yeni hesaplar için 0,50 ABD Doları tutarında bir deneme kredisi mevcuttur ve bu kredi 7 gün boyunca geçerlidir. Kayıt sırasında ödeme bilgisi girilmesine gerek yoktur; önce yukarıdaki doğrulama akışını bu kredi ile tamamlayabilirsiniz.