배치 작업이란?OpenAI에서는 컴퓨팅 리소스를 절감하기 위해서 실시간 응답이 필요하지 않은 고객들에게 배치작업을 제공한다.배치 작업은 보통 24시간 내에 응답이 오는 것을 보장하며, OpenAI에서 컴퓨팅 리소스가 여유로울 때 작업이 되는걸로 알려져 있다.응답이 늦는 대신 OpenAI에서는 배치작업을 이용하는 고객에게 API 이용비를 50% 깎아준다. 문제 상황보통 batch 작업을 하면 해당 배치 상태는 status 항목에서, 배치가 얼마나 작업되었는지 request_count를 통해 확인할 수 있다. 지금까지는 batch 사이즈(쓰레드 생성 수)와 상관없이 몇 분 내외로 status가 In progress 으로 변경되고, request_count를 통해 전체 작업량 대비 진행된 작업 현황을 파악할 ..
