Jost Do It!

1. 개요도커 컴포즈를 통해 컨테이너를 실행하는 환경에서 일부 서비스의 스크립트 내용이 변경돼 컨테이너를 재실행하였다.docker compose downdocker compose up하지만 변경된 스크립트 내용들이 컨테이너에 반영되지 않고, 여전히 이전 스크립트 내용으로 실행되는걸 확인하였다. 아래 명령어로 이미지를 재빌드를 해도 변경된 스크립트 내용은 반영되지 않았다.docker compose build --no-cache 2. 원인도커는 이미지를 생성하고, 그 이미지를 통해 컨테이너를 실행한다.그리고 컨테이너를 재실행하면 기존 이미지를 재사용해 컨테이너를 다시 생성한다.도커의 이미지 목록은 다음 명령어로 확인할 수 있다.docker image ls  만약 기존 서비스 내용들에서 변경이 생긴다면 doc..

개요카프카에서 다음과 같은 로그내용이 작업간격마다 발생하는 문제가 발생했습니다.카프카에는 로그 cleaner가 동작해 해당 로그내용들이 일정주기마다 제거되고 있었지만, 도커 내부 컨테이너에서 해당 로그들이 따로 저장돼 문제가 발생했습니다.로그가 초마다 수백개씩 쌓여 하루에 GB단위의 로그가 축적되고 있었고, 발견했을 때는 디스크 용량을 거의 잠식한 상태였습니다 (TB단위).도커 log configuration을 수정해 쌓이는 로그 크기를 조절할 수도 있지만, 근본적으로 위 문제가 발생하는 원인을 파악하고 해결하는 것을 우선합니다.원인This is a log message indicating a warning about a negative message latency of -32389513 millisec..

침몰하는 배에서는 빨리 탈출하는게 맞다.혹여나 침몰할 배를 탔다고 후회하거나 자책하지 말자.그런 경험들이 다음 선택을 더 좋은 방향으로 이끌테니.어떻게 항상 옳은 선택만 하겠는가.그때는 그게 최선이었을지도 모른다. 그리고 서두르게 옮겨타지 말자.앞으로 침몰할법한 배로 또다시 탈 필요는 없다.배에서 나오고 잠시 한숨 돌리고 여유를 가질 필요가 있다. 시간은 내 편이다.시간은 많고, 옮겨탈 배도 많이 있다.조급하지 않게, 여유롭게 다양한 기회를 살펴봐야지.

제국 걱정 전에 검수부터 제대로 하길내용부터 번역 품질까지 엉망인 책.별점: 추천 안함  가끔 책표지와 제목에 이끌려 생각없이 책을 사고 후회하는 때가 있다.제국은 왜 무너지는가가 딱 그런 책이었다.고대와 현대의 두 열강, 로마와 미국을 비교한다는 흥미로움에 이끌려 책을 샀지만 읽으면서 점점 돈버렸다는 생각이 강하게 드는 책이다. 우선 번역 품질이 정말 꽝이다.내 생각에 역자는 번역하고 다시 읽어보지도 않은거 같다.문장들을 여러번 읽어봐도 도대체 한번에 이해가 잘 되지 않는다..영어로 뭐라고 쓰였을지 역으로 생각해봐야 겨우 문장의 의도를 유추해볼 수 있다.적어도 이름을 걸고 상품을 돈받고 판다면 자기검수라도 해야되는거 아닌가.. 후나만 그렇게 느낀건 아닌지 책후기란에도 번역에 대한 불만들이 굉장히 많이보..

투자 대가들의 다양한 철학들을 엿볼 수 있는 책 별점: ★★★★☆   주식투자에 관심있고 어느정도 공부한 사람들이라면 한번쯤 들어봤을 시장의 마법사들!두꺼운 책 읽지 않고 있다가 간만에 시간이 나 읽어보게 되었다. 시장의 마법사들은 당시 미국시장에서 유명한 트레이더들에게 시장에서 그들이 어떻게 성공할 수 있었는지를 인터뷰 한 책으로 지금도 유명한 여러 트레이더들을 책에서 만나볼 수 있다.여기서 잭웨거는 트레이더라는 단어에 초점을 맞추는데 슈웨거는 장기간 보유하는 가치 투자자들이 아닌 매매가 잦은 트레이더들을 대상으로 인터뷰를 진행하였다.특히 대가들이 공통적으로 주장하는 철학(리스크 관리, 빠른 손절매 등)도 있었지만 대립하는 철학들도 다수 존재하였다. 이를 통해 시장에는 성공하기 위한 다양한 방도가 있으..

시장에서 운좋게 성공한 자들을 조소로 바라보는 나심 탈레브의 철학이 그대로 드러난 책별점: ★★★☆    2008 금융위기와 코로나 팬데믹 같이 금융시장에 예상치 못한 큰 재앙이 발생하면 항상 언급되는 이름이 있다.바로 나심 탈레브인데, 시장의 매우 낮은 확률에 경계하라는 블랙 스완에 대비하라 는 책으로도 유명하다. 행운에 속지 마라에서는 확률적인 관점에서 투자를 어떻게 해나갈지를 소개한다.특히 그의 확률론적 사고에 따른 투자방식이 충실히 표현된 책인데, 위험한 투자를 하는 것은 큰 부를 일시적으로는 가져다줄지 몰라도 결국 큰 손실로 이어질 수 있다는 것이다.그리고 그런 투자 철학을 가진 투자자들은 시장에 수없이 많기 때문에 일부의 성공은 확률론적으로 언제나 존재할 수 있다고 바라본다.그는 큰 성공은 아..

[상황]Ubuntu의 패키지 업데이트 후에 ssh 접속이 안되는 문제가 발생했다.ssh 접속 시 기존에는 계정과 비밀번호, OTP를 입력해 접속했었는데, 비밀번호 입력 전에 다음 에러 메시지가 발생했다. No supported authentication methods available (server sent: publickey)  [원인]우분투 패키지들을 업데이트 하면서 sshd 설정 파일 내용이 초기화 돼 있었다.  [해결 방법]기존 내용과 같이 설정 파일을 업데이트해주고 데몬을 재실행하면 된다.1. ssh 데몬 관련 파일을 오픈sudo vi /etc/ssh/sshd_config 2. 기존 로그인 옵션 파라미터 재설정PasswordAuthentication noPermitEmptyPassword noU..

개요GPT 모델은 input과 output의 토큰 수에 따라 비용을 다르게 책정하고 있다.여기서 한글은 보통 글자 하나가 토큰 1개로 계산되는 반면, 영어 같은 경우는 단어들이 토큰 1개로 계산되는 경우가 많다. 문제 상황문서를 요약하기 위해 GPT를 사용 중인데, 일부 문서는 GPT 모델에서 허용하는 최대 토큰 수를 넘는 경우가 있었다.따라서 문서의 내용을 잘라내서 GPT에 입력해야 했는데, 내용을 최대한 반영하기 위해 token 수를 계산할 필요가 있었다. 방법구글링해보니 GPT에 사용된 tokenizer 인코딩 방식이 오픈돼 있었고, tiktoken 라이브러리를 통해 토큰 수를 계산할 수 있다.최신 버전 GPT-4o의 경우 "o200k_base" 인코딩 방식이 적용돼 있다고 한다 (그 외 모델의 인..

배치 작업이란?OpenAI에서는 컴퓨팅 리소스를 절감하기 위해서 실시간 응답이 필요하지 않은 고객들에게 배치작업을 제공한다.배치 작업은 보통 24시간 내에 응답이 오는 것을 보장하며, OpenAI에서 컴퓨팅 리소스가 여유로울 때 작업이 되는걸로 알려져 있다.응답이 늦는 대신 OpenAI에서는 배치작업을 이용하는 고객에게 API 이용비를 50% 깎아준다. 문제 상황보통 batch 작업을 하면 해당 배치 상태는 status 항목에서, 배치가 얼마나 작업되었는지 request_count를 통해 확인할 수 있다. 지금까지는 batch 사이즈(쓰레드 생성 수)와 상관없이 몇 분 내외로 status가 In progress 으로 변경되고, request_count를 통해 전체 작업량 대비 진행된 작업 현황을 파악할 ..

결국 중요한건 무엇을 풀고 싶은지이지, 방법론이 아니다.본질에 집중하자별점: ★★★★☆   공부를 하다보면 점점 내가 왜 이걸 공부하고 있고, 무엇을 해결하고 싶은지 잊어가게 된다.문제를 해결하기 위한 다양한 방법론을 배우는 것이 오히려 문제를 해결하려는 근본적 목적과 의미를 잃어버리게 만드는 것이다. 저자는 데이터를 분석하는 많은 사람들에게서도 이런 일이 일어난다고 한다.단순히 주어진 데이터만을 보고 방법론을 통해 데이터를 남들 앞에서 보기좋게 제시하는 일은 데이터 분석이라 할 수 없다.현재 무엇이 문제인지, 근본적으로 풀고싶은 문제가 무엇인지 명확히 정의하고, 해당 문제에 적합한 데이터를 선별해 분석해야 하는 것이다.즉, 데이터 분석이나 방법론은 둘째치고 명확한 문제정의와 올바른 데이터 선택이 우선인..