0sooobin0 님의 블로그

우선 내가 사용한 하드웨어는 다음과 같다. 그래픽카드: ASUS GeForce RTX 4070 SUPEReGPU 박스: AKiTiO Node Titan노트북 사양: Intel Core i7 + Iris Xe 내장그래픽운영체제: Windows 11 (64-bit)문제가 두 번 발생했었는데 처음에는 gpu인식이 안되는 이슈가 있었고해결된 다음에는 썬더볼트 재연결시 마우스 프리징 이슈가 있었다. 이 경우에는 강제로 재부팅을 해야만했다. [문제 1] GPU 인식 실패 – 연결 순서가 중요했다간단한 실수처럼 보일 수 있지만, eGPU를 노트북에 연결하는 순서 또한 의외로 중요한 변수였다.eGPU 전원 먼저 켜기 → 이후 썬더볼트 케이블 연결→ 연결 직후 장치 관리자에서 정상적으로 GPU 장치 등록됨→ nvidi..

Transformers 라이브러리를 활용해 safetensors 형식으로 저장된 LLaMA 모델을 로딩하려고 했습니다. 아래는 제가 사용한 코드입니다.from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig, pipelinefrom langchain_community.llms import HuggingFacePipelineimport torch, osos.environ["HF_HOME"] = "D:/huggingface_cache"model_id = "beomi/llama-2-ko-7b"bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_compute..

졸업 프로젝트로 LangChain + FastAPI 기반 RAG 시스템을 만들던 중,기존 llm성능이 너무 떨어져NVIDIA GeForce RTX 4070 SUPER (12GB VRAM) 외장gpu를 교수님께 받게 되었다. 작은 모델( skt/kogpt2-base-v2 )에서 조금 더 사이즈를 키워 라마기반 모델( beomi/llama-2-ko-7b )을 돌려보았다. beomi/llama-2-ko-7b 모델은 full precision 기준 10~12GB 이상의 VRAM을 요구한다.내 GPU는 RTX 4070 SUPER로 12GB VRAM이라 간당간당해서 4bit 양자화(Quantization)를 적용했다.VRAM 사용량을 약 3~4GB로 감소시켜 더 안정적인 로딩이 가능해짐. 개발 환경은 다음과 같다..

FastAPI 기반으로 만든 LLM 보고서 생성 API를 백엔드 서버와 연동하는 과정에서,정상적으로 동작하던 로컬 테스트와 달리 백엔드 테스트 중 LLM에서 인덱싱 에러가 발생했다.같은 입력인데도 서버에서는 에러, 로컬에서는 정상 작동하는 상황.처음엔 백엔드 요청 구조를 의심했지만, 결국 문제는 내 FastAPI 서버 내부의 LLM 호출 부분에 있었다. 에러 내용로그에 아래와 같은 경고와 함께 500 Internal Server Error 발생: Token indices sequence length is longer than the specified maximum sequence length for this model (7539 > 1024).Running this sequence through t..

LangChain 기반으로 PDF 문서를 벡터화하고, 이를 ChromaDB에 저장하는 시스템을 테스트 하던 중다음과 같은 에러가 발생하였습니다    이 오류는 PyTorch, HuggingFace, 또는 Scikit-learn과 같이OpenMP(Open Multi-Processing) 기반 연산을 사용하는 라이브러리들이중복으로 OpenMP 런타임을 초기화할 때 발생합니다. 임베딩 모델을 로딩하고 벡터화를 시도하는 시점에서 libiomp5md.dll이 여러 번 로드되어서 발생된 문제입니다  환경 변수 설정을 해주면 됩니다 1. 파워쉘/ vscode 기본 터미널$env:KMP_DUPLICATE_LIB_OK="TRUE"  2. cmdset KMP_DUPLICATE_LIB_OK=TRUE 3. 소스코드 상단에 추..