박주니 개발 정리

멀티모달을 사용하는 이유단일 모달 한계 극복텍스트 전용 모델은 글로만 설명해야 해서, 이미지를 글로 변환하는 OCR 같은 전처리가 필요합니다. 이미지 전용 모델은 시각 정보는 잘 읽지만 맥락적 질문에 대답하기 어렵습니다. ▷ 멀티모달 모델은 텍스트 + 이미지를 동시에 받아서, 두 정보를 결합해 더 자연스럽게 추론합니다. 현재 사용 멀티모달 모델이 다루는 모달 OpenAI GPT-4o / GPT-4o mini텍스트, 이미지, 음성 입력 가능출력: 텍스트 / 음성Google Gemini 1.5텍스트, 이미지, 오디오, 비디오 입력 가능출력: 주로 텍스트 저는 여기에서 OpenAI GPT-4o 기준으로 진행하겠습니다. def create_messages(self, image_base64, system_pr..

설명전) 제가 system role 출력 포맷을 주로 json 형태로 바로 나오게 하다보니 아무리 가이드라인을 걸어도 json 규칙이 깨지는 경우가있고 그것을 보완하기 위해서 여러 예외처리를 하게 되는 경우도 있었습니다. 그리고 가이드라인을 상세하게 하다보니 자동 생성되는 영역이 지저분해졌는데 XML-like 형식과 간결하게 프롬프트 적용하는 방법을 알게되어서 공유합니다. 1. Output Format을 정의합니다. Output Format:[title][summary] [entities][hypothetical_questions]추가 설명) [title], [summary]는 사실 모델이 자연스럽게 채워 넣을 자리 표시자 2. system 프롬프트를 정의합니다. system_prompt = """You..

1. openai 플랫폼에서 로그인을 진행합니다. https://auth.openai.com/log-in2. 우측 상단에 프로필 이미지를 클릭하고 Your profile을 클릭합니다. 3. 좌측 사이드메뉴에서 Billing을 클릭하고 Add to credit balance를 클릭합니다.4. Amount to add는 충전하실 금액을 입력하시고 Add payment method를 클릭해서 결제하실 카드 등록을 합니다. 5. 결제 내역을 확인하시고 Confirm payment 버튼을 클릭합니다. 6. Auto recharge is off에서 Enable auto recharge 버튼을 클릭합니다. 추가 설명openai api는 요청할 때마다 과금이 됨으로 충전한 금액이 다 소진할 경우 충전된 금액이 없으면 ..

python에서 openai 및 faiss 환경을 설정하기 위해서는 먼저 가상환경부터 구축부터 진행을 해야합니다.  1. miniconda에서 python 가상환경을 설정합니다. https://junhee6773.tistory.com/entry/miniconda-%EC%84%A4%EC%B9%98-%EB%B0%8F-vscode-%EC%97%B0%EA%B2%B0-%EB%B0%A9%EB%B2%95 miniconda 설치 및 vscode 연결 방법1. https://docs.anaconda.com/free/miniconda/miniconda-install/ 에서 환경에 맞게 설치합니다. 저는 window환경이여서 windows graphical installer에서 설치했습니다.  Installing Minic..