[GPT] 배치작업 시 Validating 상태에서 stuck될 때

배치 작업이란?

OpenAI에서는 컴퓨팅 리소스를 절감하기 위해서 실시간 응답이 필요하지 않은 고객들에게 배치작업을 제공한다.

배치 작업은 보통 24시간 내에 응답이 오는 것을 보장하며, OpenAI에서 컴퓨팅 리소스가 여유로울 때 작업이 되는걸로 알려져 있다.

응답이 늦는 대신 OpenAI에서는 배치작업을 이용하는 고객에게 API 이용비를 50% 깎아준다.

 

문제 상황

보통 batch 작업을 하면 해당 배치 상태는 status 항목에서, 배치가 얼마나 작업되었는지 request_count를 통해 확인할 수 있다. 

지금까지는 batch 사이즈(쓰레드 생성 수)와 상관없이 몇 분 내외로 status가 In progress 으로 변경되고, request_count를 통해 전체 작업량 대비 진행된 작업 현황을 파악할 수 있었다.

하지만 이번에는 24시간이 지나도 batch 상태가 validating으로 뜨고, request_counts 정보에서 전체 작업량과 진행 작업량이 모두 0으로 뜨는 문제가 발생했다.

 

headers = {'Content-Type': 'application/json; charset=utf-8', 'Authorization': 'Bearer ' + os.getenv("OPENAI_API_KEY")}
batch_info = requests.post('https://api.openai.com/v1/batches',
                   headers = headers,
                   json = {'input_file_id': 'file-{배치파일명}',
                          'endpoint': '/v1/chat/completions',
                          'completion_window': '24h'}).json()

 

status가 validating에서 넘어가질 않는다.

 

원인

다양한 원인들이 있지만 내 경우는 GPT 배치로 돌릴 수 있는 file 사이즈가 초과해서 발생한 문제였다.

API call로는 문제를 확인하기 어렵고 Open AI batch 대시보드 에서 해당 배치에 대한 정보를 확인할 수 있었다.

 

해결 방법

배치 사이즈를 줄여서 다시 돌려보자.

 

 

Reference

• Batch api stuck on `Validating` status?