Jost Do It!

[상황]Ubuntu의 패키지 업데이트 후에 ssh 접속이 안되는 문제가 발생했다.ssh 접속 시 기존에는 계정과 비밀번호, OTP를 입력해 접속했었는데, 비밀번호 입력 전에 다음 에러 메시지가 발생했다. No supported authentication methods available (server sent: publickey)  [원인]우분투 패키지들을 업데이트 하면서 sshd 설정 파일 내용이 초기화 돼 있었다.  [해결 방법]기존 내용과 같이 설정 파일을 업데이트해주고 데몬을 재실행하면 된다.1. ssh 데몬 관련 파일을 오픈sudo vi /etc/ssh/sshd_config 2. 기존 로그인 옵션 파라미터 재설정PasswordAuthentication noPermitEmptyPassword noU..

개요GPT 모델은 input과 output의 토큰 수에 따라 비용을 다르게 책정하고 있다.여기서 한글은 보통 글자 하나가 토큰 1개로 계산되는 반면, 영어 같은 경우는 단어들이 토큰 1개로 계산되는 경우가 많다. 문제 상황문서를 요약하기 위해 GPT를 사용 중인데, 일부 문서는 GPT 모델에서 허용하는 최대 토큰 수를 넘는 경우가 있었다.따라서 문서의 내용을 잘라내서 GPT에 입력해야 했는데, 내용을 최대한 반영하기 위해 token 수를 계산할 필요가 있었다. 방법구글링해보니 GPT에 사용된 tokenizer 인코딩 방식이 오픈돼 있었고, tiktoken 라이브러리를 통해 토큰 수를 계산할 수 있다.최신 버전 GPT-4o의 경우 "o200k_base" 인코딩 방식이 적용돼 있다고 한다 (그 외 모델의 인..

배치 작업이란?OpenAI에서는 컴퓨팅 리소스를 절감하기 위해서 실시간 응답이 필요하지 않은 고객들에게 배치작업을 제공한다.배치 작업은 보통 24시간 내에 응답이 오는 것을 보장하며, OpenAI에서 컴퓨팅 리소스가 여유로울 때 작업이 되는걸로 알려져 있다.응답이 늦는 대신 OpenAI에서는 배치작업을 이용하는 고객에게 API 이용비를 50% 깎아준다. 문제 상황보통 batch 작업을 하면 해당 배치 상태는 status 항목에서, 배치가 얼마나 작업되었는지 request_count를 통해 확인할 수 있다. 지금까지는 batch 사이즈(쓰레드 생성 수)와 상관없이 몇 분 내외로 status가 In progress 으로 변경되고, request_count를 통해 전체 작업량 대비 진행된 작업 현황을 파악할 ..

결국 중요한건 무엇을 풀고 싶은지이지, 방법론이 아니다.본질에 집중하자별점: ★★★★☆   공부를 하다보면 점점 내가 왜 이걸 공부하고 있고, 무엇을 해결하고 싶은지 잊어가게 된다.문제를 해결하기 위한 다양한 방법론을 배우는 것이 오히려 문제를 해결하려는 근본적 목적과 의미를 잃어버리게 만드는 것이다. 저자는 데이터를 분석하는 많은 사람들에게서도 이런 일이 일어난다고 한다.단순히 주어진 데이터만을 보고 방법론을 통해 데이터를 남들 앞에서 보기좋게 제시하는 일은 데이터 분석이라 할 수 없다.현재 무엇이 문제인지, 근본적으로 풀고싶은 문제가 무엇인지 명확히 정의하고, 해당 문제에 적합한 데이터를 선별해 분석해야 하는 것이다.즉, 데이터 분석이나 방법론은 둘째치고 명확한 문제정의와 올바른 데이터 선택이 우선인..

상황Ubuntu에서 정상적으로 동작하던 ci script가 CentOS 환경에서는 permission denied 가 발생했다.  원인 Ubuntu에서는 디렉터리 읽기 권한이 있어 해당 디렉터리에 접근이 가능했지만, CentOS에서는 권한이 없어 접근이 거부된 것이다.  확인 과정은 아래와 같다.우선 .gitlab-ci.yml 파일에 echo $(whoami) 명령어를 통해 해당 스크립트를 실행하는 주체가 누구인지 파악했다.gitlab-runner 라는 유저로 runner가 실행되는걸 확인할 수 있다.  gitlab-runner 유저의 정보를 확인해보자.gitlab-runner는 자기자신 외의 다른 그룹에는 속해있지 않다.  Ubuntu 환경에서는 cd가 문제없었기 때문에 각 경로의 권한 확인을 진행했다..

쉽게 잘 쓰여진 이기적 유전자. 하지만 임팩트와 주장의 논거는 아쉬웠다.별점: ★★★ 이기적 유전자. 대학생 때 가장 강렬한 인상을 남겼던 책이었다.생명체의 모든 활동과 번식, 삶의 방식이 결국 몸 속의 유전자의 번영을 위해 이루어진다는 것이다.당시 경제학을 전공하던 나는, 한참 인간의 행동 방식과 생각에 호기심이 많았던 때라 책 내용이 더 뇌리에 남았던거 같다.유전자 관점으로는 징기스칸이 가장 성공한 인물이라는 말에도 크게 공감을 하던 시기가 있었고 다산을 해야겠다(?) 란 다짐도 했었다 ㅋㅋㅋ 협력의 유전자는 이기적 유전자 저자인 리처드 도킨스가 추천한 책이라 더 기대를 안고 읽었던 책이다.특히 이기적 유전자 책 말미에 인간은 어떻게 살아야하냐, 책 내용대로 유전자 관점으로 이기적으로 살아야되냐란 질..

회사를 다닌지 이제 3년차..점점 계좌에 돈도 차고 내집 마련에 대한 꿈도 생기다보니 주택청약에 대해 공부의 필요성이 느껴졌다.자주보던 부동산 유튜버님이 한국부동산원에서 공식 출판한 책이라 강추하시길래 바로 구매했다. 책 내용은 우리나라에서 내집 마련을 위해 알아야할 청약 조건과 방법, 그리고 종류들을 상세하게 설명해준다.특히 헷갈릴 수 있는 예시 사례를 통해 자세히 설명해줘서 내가 해당 청약조건에 해당할지 비교할 수 있어 좋았다. 다만 책을 읽는 독자들의 연령대가 다양하다 보니 과거 청약 방법 등도 너무 자세하게 나와있는 점이 아쉬웠다.예를 들어 현재는 일원화된 주택청약 통장 외에도 청약부금 등에 대해 설명하는 섹션이라던지, 과거의 주택 청약 종류들에 대해서도 언급하는 부분들은 빠져도 되지 않을까 싶었..

상황사내 API에서는 요청 쿼리의 결과 값에 wrapper를 씌워서 아래와 같이 내부 정의 응답코드, 요청 url 쿼리, data 등을 출력한다.  즉, 실제 결과는 data 파라미터에 딕셔너리 형태로 출력되는데, 여기서 data에 null 출력을 위해 nan, None 값이 포함되면 다음 에러가 발생한다.Traceback (most recent call last): File "/home/mining/projects/finance_advisor/some_money/somemoney_api_server/somemoney_api_server/sub_noAuth.py", line 215, in api_middleware response = await call_next(request) File "/ho..

상황gitlab runner 업그레이드 이후 ci/cd 과정에서 아래와 같은 에러가 발생했다.  커맨드와 스택오버플로우의 조언대로 아래 두 명령어를 사용해봤으나 동일한 에러가 계속 발생했다.git config --global --add safe.directory /home/mining/dockerfiles/clickhousegit config --global --add safe.directory '*'  소유권 에러 발생 원인우선 해당 에러는 git을 업데이트하면서 보안정책이 변경돼 발생한다.기존 git은 아래 두가지의 취약점이 존재했다.1. Window에서 git 사용 시 dll 확장자 파일이 git uninstall을 강제실행할 수 있는 문제2. 프로젝트들 경로 상위에 .git 폴더 생성 시 하위 프..

원인gitignore에 추가했더라도 git 서버에서는 기존 트래킹 파일들 내용을 저장하고 있기 때문에 발생한다. 해결방법다음 명령어를 통해 서버에 해당 파일에 대한 정보를 제거하고 다시 add 해준다.git rm -rf --cached example.txtgit add . ReferenceGitignore not working