Data Navigator

FAISS VectorDB와 gradio를 이용한 rag GPT 구현  이전에 구현했던 txt 파일을 csv 파일로 변환 후 embedding해서 rag 기반 gpt를 만들었던 것을 응용해서 FAISS VectorDB와 Gradio를 이용해 RAG GPT 챗봇을 구현한다. 본격적으로 RAG GPT 챗봇을 구현하기 전에 vector database부터 알아보자.1. Vector Database란?Vector Database는 데이터베이스의 한 종류로, 주로 벡터 형식의 데이터를 저장하고 빠르게 검색할 수 있도록 설계된 데이터베이스다. 특히 유사도 검색을 위한 최적화된 구조를 제공하며, 벡터화된 데이터를 기반으로 가까운 항목을 찾는 데 매우 효율적이다. 2. 대표적인 Vector Database1) FAIS..

RAG(Retrieval Augmented Generation) 기반 GPT 챗봇 만들기    1. RAG(Retrieval-Augmented Generation): 검색 증강 생성이란?RAG는 미리 지정한 텍스트를 데이터베이스로 준비해 두었다가 사용자가 입력하면 그 입력 내용과 연관성이 높은 텍스트를 데이터베이스에서 검색해 프롬프트에 추가해 보다 정확한 답변을 할 수 있게 하는 기법  * 질문에 더 정확하고 풍부한 답변을 주기 위해 정보 검색과 답변 생성을 결합한 기술 * 정보 검색 단계: 사용자가 질문을 하면, 외부 데이터베이스나 문서에서 관련 정보 검색 * 답변 생성 단계: 찾은 정보를 바탕으로 AI 모델이 답변 생성 2. 임베딩(Embedding)이란?컴퓨터는 문자를 인식하지 못하므로 컴퓨터가 이..

OpenAI API 를 이용한 챗봇 만들기03 - gradio를 이용해 간단한 챗봇 만들기 -    OpenAI API를 사용하기 위한 api key 발급과 환경설정 그리고 기본적인 코드와 파라미터를 알아봤으니 이제 gridio를 이용해서 gpt에게 질문하고 응답을 받는 챗봇을 만들어보자.api key 발급과 파라미터는 이전 글을 참고하기 바란다. https://datanavigator.tistory.com/91 OpenAI API 를 이용한 챗봇 만들기01 - OpenAI 계정등록하고 API key 발급 후 테스트 하기OpenAI API 를 이용한 ChatGPT 챗봇 만들기01- OpenAI 계정등록하고 API key 발급 후 테스트 하기 -   1. google에서 openai api를 검색한다.혹은..

OpenAI API 를 이용한 챗봇 만들기02 - OpenAI API 파라미터 정리 -    1. OpenAI API의 기본 사용법OpenAI API의 기본 사용법은 아래와 같다.import osfrom openai import OpenAIclient = OpenAI()client.api_key = os.environ['OPENAI_API_KEY']# GPT API를 통해 요청 보내고 결과 가져오는 부분response = client.chat.completions.create( model="gpt-3.5-turbo", messages=[ {"role": "user", "content": "Python에 대해 알려주세요"}, ],)print(response) 위의 코드를 실행하..