Jost Do It!

개요GPT 모델은 input과 output의 토큰 수에 따라 비용을 다르게 책정하고 있다.여기서 한글은 보통 글자 하나가 토큰 1개로 계산되는 반면, 영어 같은 경우는 단어들이 토큰 1개로 계산되는 경우가 많다. 문제 상황문서를 요약하기 위해 GPT를 사용 중인데, 일부 문서는 GPT 모델에서 허용하는 최대 토큰 수를 넘는 경우가 있었다.따라서 문서의 내용을 잘라내서 GPT에 입력해야 했는데, 내용을 최대한 반영하기 위해 token 수를 계산할 필요가 있었다. 방법구글링해보니 GPT에 사용된 tokenizer 인코딩 방식이 오픈돼 있었고, tiktoken 라이브러리를 통해 토큰 수를 계산할 수 있다.최신 버전 GPT-4o의 경우 "o200k_base" 인코딩 방식이 적용돼 있다고 한다 (그 외 모델의 인..

배치 작업이란?OpenAI에서는 컴퓨팅 리소스를 절감하기 위해서 실시간 응답이 필요하지 않은 고객들에게 배치작업을 제공한다.배치 작업은 보통 24시간 내에 응답이 오는 것을 보장하며, OpenAI에서 컴퓨팅 리소스가 여유로울 때 작업이 되는걸로 알려져 있다.응답이 늦는 대신 OpenAI에서는 배치작업을 이용하는 고객에게 API 이용비를 50% 깎아준다. 문제 상황보통 batch 작업을 하면 해당 배치 상태는 status 항목에서, 배치가 얼마나 작업되었는지 request_count를 통해 확인할 수 있다. 지금까지는 batch 사이즈(쓰레드 생성 수)와 상관없이 몇 분 내외로 status가 In progress 으로 변경되고, request_count를 통해 전체 작업량 대비 진행된 작업 현황을 파악할 ..

문제 상황 GPT 어시스턴트에 파일을 넣어서 "retrival" 기능을 이용하는 코드를 다음과 같이 짰다. 참고로 파일 형식은 .txt이다. file = client.files.create( file=open(file_path, "rb"), purpose='assistants' ) assistant = client.beta.assistants.create( instructions=roleA, model="gpt-4-turbo-preview", tools=[{"type": "retrieval"}], ) thread = client.beta.threads.create( messages=[ { "role": "user", "content": prompt_text, "file_ids": [file.id] } ]..