컴퓨터가 실수를 표현하는 방법은 크게 두 가지가 있습니다. 1. 고정소수점( fixed point )만약 4 byte 로 실수를 표현한다면 16bit를 정수, 나머지 16bit를 소수로 표현하자! 라고 정수 부분과 소수점 이하부분을 표현하는 bit 수를 고정시킬 수 있습니다.  10/3 인경우 예를 보면소수가 계속 반복되는데, 이를 16bit이기 때문에 마지막에 반올림이 일어난다.정수부분의 bit를 늘리면 큰 수를 표현할 수 있는 대신 정밀한 값은 표현하기 어렵고, 반대인 경우는 정밀한 대신 큰 수를 표현하기 어렵습니다. 이를 해결하기 위해 나온 것이 부동소수점입니다.2. 부동소수점( floating point )IEEE의 규격에 따라 위의 방식대로 실수를 표현한다.  3. 문제 해결알고리즘 문제풀이 중..

1) 필요한 라이브러리 불러오기!pip install torch!pip install transformers!pip install bitsandbytes!pip install accelerate# 라이브러리 불러오기import osimport torchfrom transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, BitsAndBytesConfigimport numpy as npimport pandas as pdfrom tqdm.auto import tqdmimport json 2) 환경 설정# 허깅페이스 로그인from huggingface_hub import notebook_loginnotebook_login()허깅페이스의 Settings..

GPU 환경이 아니면 허깅페이스의 딥러닝 모델링 과정에 에러가 발생할 수 있다. Colab을 사용하여 GPU 런타임을 돌리면 괜찮지만 유료로 사용해야 그나마 컴퓨팅이나 할당 시간을 보장 받기 때문에, local 컴퓨터에 GPU가 있다면 활용하자. CUDA 환경을 구성하지 않으면 GPU가 있더라도 사용하지 않는다. 아래 내용을 따라 CUDA 환경을 구성해야 사용 가능하다. 참고로 모든 설치가 완료되었을 때, Anaconda 환경을 재접속해야 적용된다. 참고 자료https://velog.io/@mactto3487/%EB%94%A5%EB%9F%AC%EB%8B%9D-GPU-%ED%99%98%EA%B2%BD-%EA%B5%AC%EC%84%B1%ED%95%98%EA%B8%B0 GPU 사용을 위한 CUDA 환경 구성하..

OSError: [WinError 127] 지정된 프로시저를 찾을 수 없습니다. Error loading "C:\ProgramData\anaconda3\Lib\site-packages\torch\lib\c10_cuda.dll" or one of its dependencies.  가상환경 안 쓰고 이것저것 라이브러리 받다가 torch에서 무슨 에러떴다. 처음엔 path 인식이 안 되는 건가하고 환경 변수와 package 관련 path를 모두 등록해주고 재접하고 해도 도통 해결이 되지 않았다..의존성 문제인거 같은데.. 잘 모르겠다. 그래서 맘 편하게 가상환경 만들고 필요한 라이브러리들을 설치하니 해결됐다 ^^Anaconda prompt 에서 가상 환경 확인conda info --envs # 현재 가상환경..

1) 필요한 라이브러리를 설치하고 불러온다!pip install feedparser!pip install newspaper3k!pip install konlpyimport feedparser # rss 에서 xml 정보 추출from newspaper import Article # 인터넷 신문 기사 분석from konlpy.tag import Okt # 한국어 자연어 처리/형태소 분석기 설치를 했음에도 'no module found error'가 발생한다면, path를 추가해줘야 한다. 라이브러리 설치 저장 경로를 확인하여 path로 추가해준다.import syssys.path.append('c:\\users\\dmlql\\appdata\\roaming\\python\\python311\\site-p..

1. 프로젝트 목적 현 LLM 모델은 최신 정보를 학습하지 못하여 정확한 증시 상황을 파악하기 어렵다. 따라서, 전자신문의 rss 를 이용하여 그날의 주요 기사들을 crawling 하고 RAG(검색 증강 생성)의 일환으로 해당 기사내용을 외부 소스로 활용하고자 한다. 이에 LLM이 최신 기사 내용들을 분석 및 요약하고 경제, 정치 상황에 대한 정보를 얻는 것이 프로젝트의 목적이다. 2. Architecture3. 기대 효과LLM 모델의 RAG 기법으로 최신 정보를 기반으로한 증시 정보를 얻고, 추후에 주식 가격 예측 모델의 Feature로 활용하여 성능을 높일 수 있을 것으로 기대된다.