#IT

로컬 AI 돌릴 때 그래픽카드 메모리가 발목 잡네요

로컬 AI 돌릴 때 그래픽카드 메모리가 발목 잡네요
요즘 매달 나가는 AI 구독료 아껴보려고 내 컴퓨터에서 직접 로컬 LLM 돌려보는 세팅 테스트 중입니다 ㅋㅋ
막상 해보니 모델 파일만 올라가는 게 아니라 대화 기억(컨텍스트)이랑 OS가 쓰는 컴퓨터 몫까지 VRAM에 같이 올라가서 메모리가 꽤 넉넉해야 하더라고요.
특히 8GB 램 환경에서는 가벼운 모델이나 음성 합성 정도는 버텨도 조금만 큰 모델 올리면 바로 병목이 걸리는 게 체감됩니다.
결국 로컬 AI가 공짜처럼 보여도 제대로 쓰려면 그래픽카드 메모리 투자가 필요한 구조가 꽤 흥미롭네요.
0
◀ 이전 스시자로)로 노젓는 일본 병원들 목록 스릴러 신작 변이 초반 몰입감이 꽤 묵직하네요 다음 ▶
올베스트 님 [26.11.18 11:14:11] 21.1h ago
답변
0 0
아...역시 세상에 공짜는 없다..
야근코딩러 님 [26.11.18 12:52:30] 19.4h ago
답변
0 0
맞아요 로컬 LLM 돌려보면 결국 VRAM 용량이 제일 큰 벽이더라고요 ㅠㅠ
컨텍스트 조금만 늘려도 메모리 바로 꽉 차서 결국 글카 업글 고민하게 됩니다 ㅋㅋㅋ
전체 댓글 [2]
피드모아 실시간 커뮤니티 인기글주요 커뮤니티의 실시간 인기글을 제공합니다.
김민석 대표는 사람이 참 못됐네요
김민석 대표는 사람이 참 못됐네요2000.4h ago
'소방 빨대'의 반전..추미애, 소방노조로부터 감사패
'소방 빨대'의 반전..추미애, 소방노조로부터 감사패1000.7h ago
세금 2천만 원 해외출장, 쫓아간 기자
#정치세금 2천만 원 해외출장, 쫓아간 기자4001.1h ago
아시아 전형 만들던 그레미상 근황
#음악아시아 전형 만들던 그레미상 근황6001.3h ago
군인들이라면 할말 많은 양구 근황
#기타군인들이라면 할말 많은 양구 근황3001.8h ago
추경호 1심 무죄 ㅋㅋ
#정치추경호 1심 무죄 ㅋㅋ6002.2h ago
뼈만 없으면 간장게장 뺨칠 밥도둑 후보 1위.jpg
#음식뼈만 없으면 간장게장 뺨칠 밥도둑 후보 1위.jpg8002.7h ago
여자가 한달 빌린 모텔방
#연애여자가 한달 빌린 모텔방7003.2h ago
나이 50에 애 낳은 연예인 둘...하지만...ㅋㅋㅋ
#유머나이 50에 애 낳은 연예인 둘...하지만...ㅋㅋㅋ8003.6h ago
작가가 실제로 겪은 키링 도둑질
#기타작가가 실제로 겪은 키링 도둑질6003.9h ago
여자들이 편의점 알바를 오래 못하는 이유
#기타여자들이 편의점 알바를 오래 못하는 이유6004.3h ago
13살때 가슴 큰 여자와 사귀는게 소원이였던 남자
#기타13살때 가슴 큰 여자와 사귀는게 소원이였던 남자5004.7h ago
대한민국 병무청의 위엄
#기타대한민국 병무청의 위엄6005.1h ago
남편 성과금이 들어왔다네요
#연애남편 성과금이 들어왔다네요6005.4h ago
추경호 내란중요임무종사 무죄 파문… 구형 20년을 무죄로?
#정치추경호 내란중요임무종사 무죄 파문… 구형 20년을 무죄로?5005.9h ago
남자라면 무조건 고민하는 선택지.JPG
#음식남자라면 무조건 고민하는 선택지.JPG6006.2h ago
길에서 폰 보지 마라
#기타길에서 폰 보지 마라5006.5h ago
추경호 1심무죄에 대한 조국 입장문
#정치추경호 1심무죄에 대한 조국 입장문5007.0h ago
작년 33원정대 찬양은 게임역사상 역대급이었음
#게임작년 33원정대 찬양은 게임역사상 역대급이었음6007.6h ago
40대 이상 금지목록
#기타40대 이상 금지목록7007.8h ago
중고거래 부채 하나로 무형유산 장인 인생 바꾼 가수 이던.story
#음악중고거래 부채 하나로 무형유산 장인 인생 바꾼 가수 이던.story4008.0h ago
내일 발송되는 수능 "위급재난문자" 특징 요약
#기타내일 발송되는 수능 "위급재난문자" 특징 요약5008.3h ago
1 2 3 4 5 6 7 8 9 10 ››