Jost Do It!

문제 상황 파이썬 컨테이너를 띄우고 내부에 패키지를 설치하던 중 아래 에러가 발생하였다. pip install -r requirements.txt [...] Traceback (most recent call last): File "/usr/lib/python3/dist-packages/pip/_internal/cli/base_command.py", line 165, in exc_logging_wrapper status = run_func(*args) File "/usr/lib/python3/dist-packages/pip/_internal/cli/req_command.py", line 205, in wrapper return func(self, options, args) File "/usr/lib/pyt..

문제상황 데이터 수집을 하는 중에 원본 데이터에서 잘못된 형식으로 값이 저장된 경우가 있었다. 원래 형식은 수치값이 string 형식으로 천단위 구분 기호로 절대값을 표시 (ex> 2,000)하거나 00.00%형식으로 돼 있어야 하는데, 잘못된 형식의 데이터에서는 00,00%로 온점이 아니라 반점으로 기재돼 있었다. 따라서 절대값이나 00.00%로 잘 기재된 경우에는 그대로 출력하고, 00,00%로 돼 있는 경우에만 ,를 .으로 바꿔줘야 했다. 해결 방법 판다스 데이터프레임의 str.replace를 이용해 다음과 같이 해결할 수 있다. df['column1'] = df['column1'].str.replace(r'^([0-9]{2}),([0-9]{2})%', r'\1.\2%', regex = True) ..

개요 스마트 플러그를 통해 데스크톱에 전원이 들어오면 자동으로 켜지게 설정해두었다. 그런데 데스크톱이 켜져도 우분투 유저 로그인 창이 떠 원격에서 바로 사용하기 어려웠다. 따라서 로그인을 생략하는 방법이 필요했다. 방법 1. Settings 클릭 2.Users 탭으로 이동 3. 유저 정보 변경을 위해 Unlock 버튼 클릭 4. 유저 비밀번호 입력 및 유저 인증 5. Automatic Login 활성화 6. 껐다 켜서 잘 적용됐는지 확인 Reference [Ubuntu] Ubuntu 18.04 부팅 시 로그인 생략하기

문제 상황 아나콘다를 설치하고 command 창에서는 conda 명령어가 동작하는데 script 내에서는 conda command를 찾을 수 없다는 에러가 나왔다. test.sh: line 2: conda: command not found 문제 원인 conda 명령어는 bash function인데, shell 내에서는 해당 bash function에 대한 정보가 없기 때문에 발생하는 에러다. 서버에 로그인하면 .bashrc가 실행되는데 .bashrc에는 conda function에 대한 initialize가되어 커맨드창에서는 conda 함수를 사용할 수 있다. 아래는 .bashrc에 선언된 conda initialize 명령이다. [...] # >>> conda initialize >>> # !! Con..

문제 상황 서버 연결에 VScode를 사용 중이다. 어느날부터 서버 연결 시 Wating for server log... 로그가 무한 반복 생성되다가 연결이 Cancel되는 문제가 발생했다. 문제 원인 VScode가 오래된 리눅스 버전에 대해 지원을 종료하면서 나타난 이슈다. 참고로 우리회사 서버의 리눅스 버전은 CentOS 7과 CentOS 18-04였다. VSCode에서는 공지를 했겠지만 해당 이슈가 워낙 갑작스럽다보니 깃헙 이슈가 굉장히 뜨거워진걸 볼 수 있다. 해결 방법 근본적으로 오래된 서버의 리눅스 버전을 업그레이드 시키는 것이 베스트겠지만 어떤 이슈가 생길지 몰라 바로 적용 하긴 어려웠다. 대신 VScode 구버전으로 다운받으면 해당 문제를 해결할 수 있다. 구버전은 1.85로 다운받으면 된..

문제 상황 서버 내 디스크 여유공간이 부족해져 다른 디스크에 데이터를 mv하였다. 이 때 다른 디스크에 데이터가 적재되는건 확인하였는데, 원래 디스크의 파일들은 그대로 남아있는걸 확인하였다. 찾아보니 같은 디스크 내 mv와 타 디스크로의 mv 명령이 다르게 작동하는걸 확인할 수 있었다. 설명 서로 같은 디스크(파일 시스템) 내에서는 mv를 하면 실제로 파일을 옮기거나 생성, 제거하지 않고 디렉터리 경로만을 변경하는 방식이다. 하지만 다른 디스크간 mv 시에는 파일을 옮기게 되는데, 이 때 파일들은 실제로 바로 옮겨지는 것이 아니라 다른 디스크로 cp(copy) 작업이 먼저 수행되고, copy가 정상적으로 완료된 파일들은 rm(remove)작업이 이루어진다. 아무래도 파일을 직접적으로 바로 옮기는 과정에서..

보호되어 있는 글입니다.

문제 상황 관계형 데이터베이스에 테이블에는 중복 방지와 무결성을 위해 primary key를 설정한다. 이 때 primary key를 설정하면 primary key 값이 중복된 데이터들은 업로드할 수 없다. 보통 SQL문에서는 중복된 데이터인 경우 INSERT INTO ... ON CONFLICT ... 구문을 통해 데이터를 덮어쓸 수 있다. 하지만 pd.to_sql 함수의 경우 데이터 업로드 시 해당 기능이 구현돼 있지 않아 다음 코드를 작성했다. 해결 방법 함수의 동작방식을 다음과 같이 하여 upsert를 간접 구현하였다. 간단히 말하면 pk 중복 데이터를 제거하고 다시 insert하는 방식으로 완전한 upsert는 아닐 수 있다. 1. 시스템 테이블에서 해당 테이블의 primary_key 이름 찾기..

문제 상황 Postgres 데이터베이스를 연결하니 내가 연결한 postgres 데이터베이스만 출력되고 나머지 데이터베이스는 출력되지 않는 문제가 발생했다. 해결 방법 데이터베이스 설정을 클릭한다. 설정항목 위에 PostgreSQL을 클릭 아래 Settings 옵션 중에서 Show all databases를 클릭한다. 그 외에도 데이터베이스 관련 옵션들이 있으니 필요한건 여기서 설정하면 될듯하다. Reference https://gitseok.tistory.com/entry/DBeaver-PostgreSQL-%EB%AA%A8%EB%93%A0-Database-%EC%A1%B0%ED%9A%8C%ED%95%98%EA%B8%B0

[개요] 외부 ip에서 집 데스크톱으로 접근하다보니 보안설정이 필요했다. 여러 설정 방법들이 있겠지만 관리하는 코스트는 줄이면서 최대한 간단하게 설정하고 싶었다. 그 중 사이트에 접속할 때마다 사용하는 OTP를 우분투에서 사용하는 방법이 있어 OTP로 보안을 적용하였다. [ssh 설정하기] 먼저 ssh 관련 패키지를 설치해준다. sudo apt-get install openssh-server 설치 후 ssh 상태가 정상적인지 확인한다. sudo systemctl status ssh 정상적이라면 아래와 같은 결과가 나온다. ● ssh.service - OpenBSD Secure Shell server Loaded: loaded (/lib/systemd/system/ssh.service; enabled; v..