Ollama에서 linkbricks-llama3.1-korean 적용 방법

설명전)

먼저 Ollama 설치되어있어야합니다.

https://junhee6773.tistory.com/entry/Allama-%EC%84%A4%EC%B9%98-%EB%B0%A9%EB%B2%95

Allama 설치 방법

 

해당 모델은 8b, 70b 있는데 본인 로컬 환경 메모리가 최소 51GB이상이 된다면 70b를 다운로드 시도할 수 있고 그게 아니라면 8b로 설치하셔야합니다. 

로컬 환경을 무시하고 설치를 하시면 이미지처럼 메모리 부족하다가 에러 나는 것을 볼수 있습니다. 

---

1. python 가상환경에 ollama를 설치합니다. 

pip install ollama

2. 현재 코드를 복사해서 붙여놓습니다. 

import ollama

response = ollama.chat(model="benedict/linkbricks-llama3.1-korean:8b", messages=[
    {"role": "user", "content": "안녕하세요! 오늘의 날씨를 알려주세요."}
])

print(response["message"])

3. 실행해서 정상적으로 나오는 지 확인합니다. 

 

회고)

지금 제 로컬 환경에서는 8b 밖에 안되서 그걸로 진행을 했는데 간단한 대화 나누는 정도에 AI는 상관이 없지만 그 외 분별 및 gpt-3.5-turbo 정도 수준에 LLM을 진행하고자할 때 의도한 값이 제대로 나오지 않는 것을 확인할 수 있었습니다. 

CPU 기반으로 AI 모델을 서비스로 진행할 수 없다는 결론까지 도달했습니다.