Jost Do It!

[상황]Ubuntu의 패키지 업데이트 후에 ssh 접속이 안되는 문제가 발생했다.ssh 접속 시 기존에는 계정과 비밀번호, OTP를 입력해 접속했었는데, 비밀번호 입력 전에 다음 에러 메시지가 발생했다. No supported authentication methods available (server sent: publickey)  [원인]우분투 패키지들을 업데이트 하면서 sshd 설정 파일 내용이 초기화 돼 있었다.  [해결 방법]기존 내용과 같이 설정 파일을 업데이트해주고 데몬을 재실행하면 된다.1. ssh 데몬 관련 파일을 오픈sudo vi /etc/ssh/sshd_config 2. 기존 로그인 옵션 파라미터 재설정PasswordAuthentication noPermitEmptyPassword noU..

개요GPT 모델은 input과 output의 토큰 수에 따라 비용을 다르게 책정하고 있다.여기서 한글은 보통 글자 하나가 토큰 1개로 계산되는 반면, 영어 같은 경우는 단어들이 토큰 1개로 계산되는 경우가 많다. 문제 상황문서를 요약하기 위해 GPT를 사용 중인데, 일부 문서는 GPT 모델에서 허용하는 최대 토큰 수를 넘는 경우가 있었다.따라서 문서의 내용을 잘라내서 GPT에 입력해야 했는데, 내용을 최대한 반영하기 위해 token 수를 계산할 필요가 있었다. 방법구글링해보니 GPT에 사용된 tokenizer 인코딩 방식이 오픈돼 있었고, tiktoken 라이브러리를 통해 토큰 수를 계산할 수 있다.최신 버전 GPT-4o의 경우 "o200k_base" 인코딩 방식이 적용돼 있다고 한다 (그 외 모델의 인..