Jost Do It!

1. Introduction$  p\left ( y=c|x,\theta \right )\propto p\left ( x|y=c,\theta \right )p\left ( y=c|\theta \right ) $베이즈룰에 따른 generative classifier여기서 $ p\left ( x|y=c, \theta \right ) $ 인 class-conditional density를 어떻게 적절한 형태로 표현할지가 핵심 사항   2. Bayesian concept learningㄱ. 개념 학습(concept learning)이진 분류(binary classification)와 유사x가 concept C에 속하면 f(x) = 1이고, 아니면 f(x) = 0어떤 요소들이 C 개념에 속하는지 판단하는 지시함수 ..

1. Introduction확률에 대한 두가지 관점빈도론자(frequentist): 장기적인 관점에서 사건의 발생 빈도에 초점을 맞춤 베이지안(Bayesian): 확률은 불확실성을 정량화하기 위해 사용된다. 따라서 사건보다는 정보에 초점을 맞춘다.장점: 사건에 대한 불확실성을 모델링하기 때문에 1. 관측이 적거나 2. 단기적으로 관측된 사건에 대해서 해석할 수 있다. 이 책에서는 베이지안 해석 관점을 채택함다만, 확률론의 기본 원칙은 빈도론자나 베이지안 모두 동일하게 적용된다.   2. A brief review of probability theory$  p\left ( A \right ) $: 사건 A가 발생할 확률 $ p\left ( \bar{A} \right ) $: 사건 A가 발생하지 않을 확률 ..

1. Machine learning: what and why?머신 러닝 정의: 데이터 속에서 숨겨진 패턴을 찾고, 패턴을 이용해서 데이터를 예측하는 방법론 1-1. 머신러닝 유형지도학습(predictive / supervised learning)목표: 입력 데이터(x)로 부터 결과 데이터(y)을 예측하는 모델을 학습하는 것데이터셋이  $ D={\left ( x_{i}, y_{i} \right )}_{i=1}^{N} $ 로 학습을 위해 입력데이터와 결과데이터가 필요함 문제 유형분류(classification): 결과 데이터가 범주화된 경우 (categorical)회귀(regression):  결과 데이터가 수치인 경우 (real-valued) 결과 데이터(y)를 예측하기 위해 입력 데이터(x)를 이용해 근..

개요GPT 모델은 input과 output의 토큰 수에 따라 비용을 다르게 책정하고 있다.여기서 한글은 보통 글자 하나가 토큰 1개로 계산되는 반면, 영어 같은 경우는 단어들이 토큰 1개로 계산되는 경우가 많다. 문제 상황문서를 요약하기 위해 GPT를 사용 중인데, 일부 문서는 GPT 모델에서 허용하는 최대 토큰 수를 넘는 경우가 있었다.따라서 문서의 내용을 잘라내서 GPT에 입력해야 했는데, 내용을 최대한 반영하기 위해 token 수를 계산할 필요가 있었다. 방법구글링해보니 GPT에 사용된 tokenizer 인코딩 방식이 오픈돼 있었고, tiktoken 라이브러리를 통해 토큰 수를 계산할 수 있다.최신 버전 GPT-4o의 경우 "o200k_base" 인코딩 방식이 적용돼 있다고 한다 (그 외 모델의 인..

개요 MS 대화형 AI는 서비스 제품인 1. MS Copilot과 오픈소스로 공개된 2. TaskWeaver, 3. AutoGen 으로 나뉩니다. 그 중 TaskWeaver에 대해 알아봅시다. 2. TaskWeaver 오픈소스 소개 Task Weaver는 데이터 분석 작업을 목적으로 개발된 AI입니다. 사용자의 프롬포트에서 요청을 해석하고, 실행 가능한 코드 스니펫을 생성해 사용자에게 결과와 함께 제공합니다. 데이터 분석 결과와 함께 관련 코드까지 제공한다는 장점이 있습니다. UI 인터페이스도 제공할 수 있습니다. 오픈소스 특징 Task Weaver는 2개의 대화형 AI에 각각 역할을 설정해 AI간 대화(interaction)를 통해 프롬포트 결과를 출력합니다. Planner: 사용자가 입력한 프롬포트를..

개요MS 대화형 AI는 서비스 제품인 1. MS Copilot과 오픈소스로 공개된 2. TaskWeaver, 3. AutoGen 으로 나뉩니다. 그 중 MS Copilot에 대해 알아봅시다. 1. MS Copilot서비스 소개Copilot은 MS사의 여러 제품에 최적화된 대화형 AI 챗봇을 범용적으로 부르는 이름입니다.크게 윈도우 11 Copilot, 앱 전용 Copilot, Bing Copilot 3가지로 나뉩니다.현재 윈도우 11은 프리뷰로 일부 유저만, Bing Copilot은 웹에서 사용이 가능합니다. 앱전용은 앱마다 사용 권한이 다르게 설정돼 있습니다.서비스 특징Copilot 지원 대상 앱Word, PowerPoint, Excel, Teams, Github, Outlook, OneNote, …한..

문제 상황 GPT 어시스턴트에 파일을 넣어서 "retrival" 기능을 이용하는 코드를 다음과 같이 짰다. 참고로 파일 형식은 .txt이다. file = client.files.create( file=open(file_path, "rb"), purpose='assistants' ) assistant = client.beta.assistants.create( instructions=roleA, model="gpt-4-turbo-preview", tools=[{"type": "retrieval"}], ) thread = client.beta.threads.create( messages=[ { "role": "user", "content": prompt_text, "file_ids": [file.id] } ]..

Chapter 13. 교착 상태 요약 교착 상태의 정의와 발생 원인을 학습하고, 이를 해결하는 방법에 대해 알 수 있었다. 내용 정리 13-1. 교착 상태란 교착 상태(deadlock) 두 개 이상 프로세스가 각자 자원을 점유하고, 서로의 자원을 요구할 때에 더 이상 프로세스 진행이 불가해진다. 즉, 서로의 종료만을 기다리며 진행이 멈춰버릴 때 교착 상태가 발생한다. 식사하는 철학자 문제(dining philosophers problem) 교착상태를 잘 설명하는 예시 철학자는 프로세스 또는 쓰레드, 포크는 자원, 생각하는 행위는 자원을 기다리는 것으로 이해할 수 있다. 포크는 한 번에 한 스레드에만 접근할 수 있으니 임계 구역으로 생각할 수 있다. 식사하는 철학자 문제 과정 모든 철학자는 원형 테이블에 ..

Chapter 12. 프로세스 동기화 요약 프로세스 동기화의 의미와 다양한 기법들에 대해 알 수 있었다. 내용 정리 12-1. 동기화란 동기화의 의미 프로세스 동기화(synchronization) 프로세스 사이 수행 시기를 설정하는 것 동시다발적으로 실행되는 프로세스들은 독립적이거나, 서로 정보를 주고받고 협력할 수 있다. 서로 영향을 주는 프로세스들은 실행 순서와 자원 사용의 일관성을 보장해야 하기에 동기화 돼야 한다. 참고> 프로세스 뿐 아니라 스레드도 동기화의 대상이다. 즉, 실행의 흐름을 갖는 모든 것은 동기화 대상이다. 프로세스 동기화 시 요구조건 실행 순서 제어: 프로세스를 올바른 순서로 실행 상호 배제: 동시에 접근하면 안되는 자원에 하나의 자원만 접근할 수 있도록 하기 1. 실행 순서 제어..

Chapter 11. CPU 스케줄링 요약 CPU 스케줄링의 개념과 방법들에 대해 공부할 수 있었다. 내용 정리 11-1. CPU 스케줄링 개요 CPU 스케줄링 CPU 스케줄링 (CPU scheduling) 운영체제가 프로세스들에게 정해진 규칙으로 CPU 자원을 배분하는 것 CPU 스케줄링에 따라 컴퓨터 성능에 큰 영향을 미침 반드시 실행되야 할 프로그램이 적절히 실행되야 함 급한 프로세스는 우선 실행되고, 급하지 않은 프로세스들은 차선으로 실행할 수 있어야 함 프로세스에 CPU 자원 배분이 질서적으로 가능해야 함 프로세스 우선순위 프로세스 프로세스는 일의 중요도에 따라 우선순위가 존재한다. 우선순위가 높은 프로세스: 우선순위가 낮은 프로세스들 보다 빨리 처리 되야 하는 프로세스 프로세스는 실행 상태와 ..