playground tier에 따른 model 제한 확인 방법

playground에서 openai api를 요청하다보면 간혹 Too many request가 나오는것을 확인할 수 있습니다.

저는 그저 네트워크 문제라고 생각을 했었는데 티어에 따라 요청 제한이 있다는 것을 확인했습니다. 

먼저 playground에서 현재 티어 및 사용하고 있는 모델이 요청 제한을 확인하시길 바랍니다. 

 

playground user limit 확인 링크)

https://platform.openai.com/settings/organization/limits

 

 

설명)

예를 들어서 티어1 등급이 gpt-3.5-turbo를 이용할경우

• RPM = 분당 요청수) 500번 
• RPD = 하루 요청수) 10,000번 
• TPM = 분당 제한 토큰) 200,000

Too many request 에러 발생)

• 1분내 500번 요청이 넘을경우 
• 1분내 500번 미만으로 설정해도 하루 기준 10000번 요청이 넘었을경우
• 1분내 요청한 토큰이 20만이 넘었을경우

티어에 따른 모델 요청수를 잘 확인하고 현재 본인 티어 등급이 낮은데 B2B가 아닌 BTC로 진행할려고한다면 

이부분을 고려하시면서 계정마다 key를 여러개 만들어서 분산이 가능한 상황이 아니라면 기능 적용하는 부분을

고려하시는 것을 추천합니다.