API 중개란 무엇인가: 원리, 위험 및 선택 체크리스트

요청이 중개 서비스를 거치는 경로

먼저 용어를 명확히 하겠습니다. '중개 API'란 당신의 프로그램과 실제 모델을 실행하는 백엔드 사이에 표준 인터페이스를 노출하는 게이트웨이를 추가로 배치하는 것을 의미합니다. 당신의 코드는 여전히 OpenAI 형식으로 요청을 보내지만, base_url을 게이트웨이 주소로 지정하고 키를 게이트웨이가 발급한 키로 바꿉니다.

게이트웨이는 이 홉에서 일반적으로 세 가지 작업을 수행합니다.

• 요청转发: 요청 본문 형식을 검증하고 필요시 기본 매개변수를 보충한 후 백엔드에 전달합니다. 백엔드가 반환한 콘텐츠(스트리밍 SSE 청크 포함)를 원본 그대로 또는 약간 가공하여 당신에게 전달합니다.
• 키 매핑: 당신이 보유한 것은 게이트웨이가 발급한 키이며, 이 키는 게이트웨이 내에서만 의미가 있습니다. 게이트웨이는 이를 통해 당신이 누구인지, 잔액이 얼마인지, 어떤 모델을 호출할 수 있는지 식별합니다. 백엔드와 실제로 통신하는 자격 증명은 게이트웨이 내부에 남아 있으며 당신의 코드에 나타나지 않습니다.
• 과금 및 속도 제한: 각 요청이 반환되면 게이트웨이는 usage의 입력 및 출력 토큰 수에 단가를 곱해 잔액을 차감하고, 키당 분당 요청 수를 통계 처리하여 초과 시 429를 반환합니다.

이 세 가지 작업을 연결하여 보면 중개 서비스의 경험이 크게 다른 이유를 이해할 수 있습니다:转发 레이어의 구현은 지연 시간 변동과 스트리밍 안정성을 결정하고, 키 레이어는 유출 시 피해 범위를 결정하며, 과금 레이어는 명세서의 투명성과 대장 정산 가능성을 결정합니다.

단일 모델 직결 서비스와의 차이점

직결 서비스란 당신이 모델 제공업체의 공식 도메인으로 직접 요청을 보내는 것을 의미하며, 일반적으로 하나의 계정은 하나의 모델 세트, 하나의 과금 규칙, 하나의 문서를 가집니다. 중개 서비스는 두 가지 일반적인 형태가 있으며, 그 차이는 '뒤에 무엇이 연결되어 있는가'에 있습니다.

차원	직결 단일 서비스	집합형 중개	단일 모델 중개
모델 수	제공업체 자체의 몇 개	수십 개에서 수백 개	하나
인터페이스 형식	각자 고유 형식	OpenAI 호환으로 통일	OpenAI 호환
문제 해결 난이도	최저, 링크가 가장 짧음	최고, 모델명 매핑이 많음	낮음, 모델이 하나뿐임
적합한 시나리오	한 제공업체의 안정적인 비즈니스만 사용	빈번하게 모델을 교체하여 비교 필요	고정 모델, 예측 가능성 추구

단일 모델만 의존한다면 집계 이점이 없고 모델 매핑 불확실성만 생깁니다. 반면 모델 비교 테스트가 빈번하다면 집계형이 적응 작업을 줄여줍니다. 절대적 우열은 없으며, 자신의 유형을 파악하는 것이 핵심입니다.

본 사이트는 마지막 유형에 속합니다: uncensored 모델 ID의 단일 모델만 제공하며, API는 OpenAI 호환 채팅 완성 형식입니다. 이러한 선택과 비용에 대한 논의는 무제한 AI API의 비용과 트레이드오프를 참조하십시오.

가장 흔한 세 가지 위험

키 보안

중계 키는 선불 충전 카드와 동일합니다. 키를 가진 사람이면 잔액을 사용할 수 있습니다. 흔한 유출 경로에는 키를 프론트엔드 코드에 작성하거나 공개 저장소에 커밋하거나 티켓이나 그룹 채팅 스크린샷에 붙여넣는 것이 포함됩니다. 키를 서버 측 환경 변수에만 배치하고, 프론트엔드는 항상 자신의 백엔드를 통해 한 번 중계하도록 권장합니다. 유출이 의심될 때 즉시 키를 재설정하고, 이전 키가 즉시 무효화되도록 해야 합니다. 또한 서비스가 자체 재설정을 허용하는지, 재설정 후 이전 키가 즉시 무효화되는지(몇 시간 후에만 효과가 있는지 아닌지) 확인하십시오.

모델 교체

이것은 집계형 서비스에서 가장 많이 논의되는 문제입니다: A를 요청했는데 실제로 더 저렴한 B가 반환됩니다. 이는 문서로 판단하기 어렵고, 행동 검증으로만 확인할 수 있습니다. 표준 정답이 있는 작은 질문 세트를 고정하고 temperature을 고정하여 반복 테스트하여 출력 스타일이 안정적인지 관찰할 수 있습니다. 또는 /v1/models을 요청하여 목록이 요금 페이지와 일치하는지 확인할 수 있습니다. 모델 이름이 모호하거나 같은 이름이라도 시간대에 따라 성능 차이가 큰 경우 모두 주의해야 합니다.

속도 제한 불투명

일부 서비스는 문서에 '합리적 사용'이라고만 적지만, 실제 피크 시간에는 속도를 조용히 낮추거나 요청을 직접 버립니다. 이로 인해 사용자의 프로그램은 간헐적 시간 초과로 나타납니다. 성숙한 방법은 각 키의 분당 요청 수를 명시하고, 초과 시 규격화된 429를 반환하며 연결을 대기 상태로 두지 않는 것입니다. 선택 시 반드시 다음 사항을 명확히 하십시오: 속도 제한이 키 기준인지 계정 기준인지, 초과 시 반환하는 오류, 잔액 소진 시 독립적인 오류 코드를 반환하는지 여부.

중계 서비스 선택 체크리스트

아래 체크리스트는 평가 문서에 바로 복사하여 항목별로 체크할 수 있습니다.

1. 공개 GET /v1/models를 제공하며, 반환된 모델 목록이 가격 페이지와 일치합니까?
2. 오류 응답이 code와 message를 포함하는 구조화된 JSON이며, 401, 402, 429, 503 오류가 명확히 구분됩니까?
3. 각 API 키의 분당 요청 상한이 문서에 명시되어 있습니까, 아니면 고객 서비스 담당자의 구두 설명에만 의존합니까?
4. 컨텍스트 창 길이, 단일 응답의 최대 토큰 수, 요청 본문 크기에 대한 명확한 수치가 있습니까?
5. API 응답의 usage 필드에 있는 토큰 수로 정확하게 차감되며, 잔액은 언제든지 확인할 수 있습니까?
6. 선불 크레딧 잔액이 만료됩니까? 무료 체험 크레딧의 유효 기간이 명시되어 있습니까?
7. API 키를 자체적으로 재설정할 수 있으며, 기존 키가 즉시 무효화됩니까?
8. 스트리밍 출력을 지원하며, 응답 끝에 usage 통계가 포함되어 있어 사용자가 직접 검산을 수행할 수 있습니까?
9. 프롬프트가 학습에 사용되는지에 대해 명확한 한 줄의 설명이 있습니까?
10. 지원하지 않는 기능(예: 벡터, 이미지, 음성)이 모호하게 처리되지 않고 정확하게 표기되어 있습니까?

모든 항목이 완벽할 수는 없지만, 상위 5개 항목 중 2개 이상에 대해 명확히 답변하지 못한다면, 대액 충전 전에 소액으로 먼저 테스트해 보기를 권장합니다.

API 키 발급 후 10분 검증

어떤 서비스를 선택하든, 서비스 시작 전 최소 10분을 할애하여 기본 검증 작업을 수행하는 것이 좋습니다. 첫 번째 단계는 모델 목록을 나열하여 반환된 id가 예상과 일치하는지 확인하는 것입니다:

复制curl -s https://api.llmzhongzhuan.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

두 번째 단계로는 작은 요청을 보내고 응답의 usage 필드가 존재하는지, 그 수치가 합리적인지 관찰합니다. 아래 예시는 모델이 날짜를 반복하도록 유도하여, 모델이 알 수 없는 정보를 허위 생성하는지 관찰하기 위한 것입니다. 이는 엄격한 평가라기보다 개략적인 동작 확인용입니다:

复制curl -s https://api.llmzhongzhuan.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "用一句话介绍你自己，然后复述今天的日期是几号。"}],
    "max_tokens": 200
  }' 

이 두 단계를 배포 스크립트에 추가하여 키나 서비스를 변경할 때마다 실행하세요. 응답에 usage 필드가 없거나 usage의 숫자가 입력 길이와 현저히 맞지 않으면, 요금 투명성에 문제가 있다는 의미이므로 대량 사용 전에 반드시 확인해야 합니다. 다양한 프레임워크에서의 연동 방법을 알고 싶다면 프레임워크 구성 가이드를 참조하세요.

이 사이트의 매개변수는 목록과 대조하기 쉽습니다.

위 체크리스트를 항목별로 쉽게 확인할 수 있도록 본 서비스의 실제 파라미터를 정리했습니다. 문서를 왔다 갔다 하며 찾아볼 필요가 없습니다.

• API 엔드포인트: https://api.llmzhongzhuan.com/v1, POST /v1/chat/completions 및 GET /v1/models를 지원하며, 인증은 Bearer 토큰을 사용합니다.
• id가 uncensored인 단일 모델만 제공되며, 텍스트 전용입니다. 벡터, 이미지, 음성, 비디오, 파인튜닝은 지원하지 않습니다.
• 컨텍스트 창은 100,000 토큰(입력+출력)이며, max_tokens 기본값은 2048, 최대 32,000입니다. 요청 본문 크기는 8 MB를 초과할 수 없습니다.
• 각 API 키는 분당 300회 요청을 처리할 수 있으며, 초과 시 429 오류가 반환됩니다. 503 오류의 upstream_busy는 잠시 후 재시도하면 됩니다. 잔액이 고갈되거나 무료 체험 크레딧이 만료되면 402 오류의 no_credit이 반환됩니다.
• 가격은 입력 토큰 100만 개당 0.25달러, 출력 토큰 100만 개당 1.00달러입니다. 선불 충전 방식이며 구독은 없습니다. 잔액은 만료되지 않습니다.
• 프롬프트는 학습에 사용되지 않습니다.

구체적인 숫자는 가격 페이지와 문서를 기준으로 합니다. 신규 계정에는 0.50 미국 달러의 무료 체험 크레딧이 제공되며 유효 기간은 7일입니다. 결제 정보를 입력하지 않고도 등록할 수 있으므로, 위의 검증 프로세스를 완료하는 데 사용할 수 있습니다.