Data Navigator

Langchain, OpenAI API, Programmable Search Engine로  검색어 기반 자동 기사 작성 프로그램 만들기02   Google Programmable Search Engine 에서 검색 엔진 ID, API key 발급받기를 완료했다면 최신 정보에 기반한 뉴스 기사를 생성하는 프로그램을 만들어 보자. 1. 필요 라이브러리 임포트from langchain.agents import Tool, create_openai_tools_agent, AgentExecutorfrom langchain_community.utilities import GoogleSearchAPIWrapperfrom langchain_core.prompts import ChatPromptTemplate, Mess..

Langchain, OpenAI API, Programmable Search Engine로 검색어 기반 자동 기사 작성 프로그램 만들기01   구글 검색엔진을 이용해 검색한 후 그 결과를 토대로 GPT를 이용해 기사를 작성하는 프로그램을 만든다.이 실습을 위해서는 OpenAI API 의 API KEY, Langchain 라이브러리 설치가 필요하므로 이전 글을 참고해서 미리 세팅한 후 이번 실습을 진행할 수 있다. 아래 링크의 글을 통해 미리 필요한 API KEY를 발급받고 필요한 라이브러리를 설치하자. https://datanavigator.tistory.com/91 OpenAI API 를 이용한 챗봇 만들기01 - OpenAI 계정등록하고 API key 발급 후 테스트 하기OpenAI API 를 이용한..

LangChain 의 개념과 주요 기능, 간단한 예제  LangChain은 언어 모델(Large Language Models, LLM)을 활용하여 애플리케이션을 만들기 위한 프레임워크이다. 언어 모델을 다양한 작업에 쉽게 연결하고 응용할 수 있도록 여러 구성 요소를 제공하여, 언어 모델 기반 애플리케이션을 간편하게 개발할 수 있게 한다. 특히 복잡한 멀티스텝 질의, 정보 검색, 체인 기반 워크플로우 구축에 유용해 대화형 AI 및 자동화된 데이터 처리 작업을 쉽게 구현할 수 있다.1. LangChain의 주요 기능체인(Chains): LangChain은 언어 모델을 기반으로 다양한 단계의 체인을 설정할 수 있게 한다. 예를 들어, 사용자의 질문을 받고 관련 문서를 검색한 후, 답변을 생성하는 일련의 단계를..

음성인식 모델 Whisper 에 대한 개념과 기본 사용법  OpenAI의 Whisper는 음성 인식을 통한 음성-텍스트 변환을 지원하는 모델로, OpenAI API를 통해 간편하게 사용할 수 있다. 이 시스템은 음성 데이터를 텍스트로 변환하는 데 특화되어 있으며, 다양한 언어와 억양을 정확하게 인식하는 기능을 갖추고 있다. 1. Whisper의 기능음성-텍스트 변환: Whisper는 음성을 텍스트로 변환하는 기능을 제공한다. 이를 통해 녹음된 오디오를 텍스트로 쉽게 기록할 수 있다.다국어 인식: Whisper는 여러 언어의 음성을 인식하고 텍스트로 변환할 수 있어, 다국어 환경에서도 유용하게 사용된다.언어 감지 및 번역: Whisper는 음성 파일 내에서 자동으로 언어를 감지하고, 지정된 경우 영어로 번..

FAISS VectorDB와 gradio를 이용한 rag GPT 구현  이전에 구현했던 txt 파일을 csv 파일로 변환 후 embedding해서 rag 기반 gpt를 만들었던 것을 응용해서 FAISS VectorDB와 Gradio를 이용해 RAG GPT 챗봇을 구현한다. 본격적으로 RAG GPT 챗봇을 구현하기 전에 vector database부터 알아보자.1. Vector Database란?Vector Database는 데이터베이스의 한 종류로, 주로 벡터 형식의 데이터를 저장하고 빠르게 검색할 수 있도록 설계된 데이터베이스다. 특히 유사도 검색을 위한 최적화된 구조를 제공하며, 벡터화된 데이터를 기반으로 가까운 항목을 찾는 데 매우 효율적이다. 2. 대표적인 Vector Database1) FAIS..

RAG(Retrieval Augmented Generation) 기반 GPT 챗봇 만들기    1. RAG(Retrieval-Augmented Generation): 검색 증강 생성이란?RAG는 미리 지정한 텍스트를 데이터베이스로 준비해 두었다가 사용자가 입력하면 그 입력 내용과 연관성이 높은 텍스트를 데이터베이스에서 검색해 프롬프트에 추가해 보다 정확한 답변을 할 수 있게 하는 기법  * 질문에 더 정확하고 풍부한 답변을 주기 위해 정보 검색과 답변 생성을 결합한 기술 * 정보 검색 단계: 사용자가 질문을 하면, 외부 데이터베이스나 문서에서 관련 정보 검색 * 답변 생성 단계: 찾은 정보를 바탕으로 AI 모델이 답변 생성 2. 임베딩(Embedding)이란?컴퓨터는 문자를 인식하지 못하므로 컴퓨터가 이..

OpenAI API 를 이용한 챗봇 만들기03 - gradio를 이용해 간단한 챗봇 만들기 -    OpenAI API를 사용하기 위한 api key 발급과 환경설정 그리고 기본적인 코드와 파라미터를 알아봤으니 이제 gridio를 이용해서 gpt에게 질문하고 응답을 받는 챗봇을 만들어보자.api key 발급과 파라미터는 이전 글을 참고하기 바란다. https://datanavigator.tistory.com/91 OpenAI API 를 이용한 챗봇 만들기01 - OpenAI 계정등록하고 API key 발급 후 테스트 하기OpenAI API 를 이용한 ChatGPT 챗봇 만들기01- OpenAI 계정등록하고 API key 발급 후 테스트 하기 -   1. google에서 openai api를 검색한다.혹은..

OpenAI API 를 이용한 챗봇 만들기02 - OpenAI API 파라미터 정리 -    1. OpenAI API의 기본 사용법OpenAI API의 기본 사용법은 아래와 같다.import osfrom openai import OpenAIclient = OpenAI()client.api_key = os.environ['OPENAI_API_KEY']# GPT API를 통해 요청 보내고 결과 가져오는 부분response = client.chat.completions.create( model="gpt-3.5-turbo", messages=[ {"role": "user", "content": "Python에 대해 알려주세요"}, ],)print(response) 위의 코드를 실행하..

OpenAI API 를 이용한 ChatGPT 챗봇 만들기01- OpenAI 계정등록하고 API key 발급 후 테스트 하기 -   1. google에서 openai api를 검색한다.혹은 https://openai.com/index/openai-api/ 로 접속 2. sighup을 누르고 회원가입을 한다.     google 계정을 이용해서 간편하게 회원가입과 로그인이 가능하다. 그 후 이메일로 인증메일이 오는데 인증 부분에 대한 설명은 생략한다. 3. 로그인 후 openAI api key 발급받기 오른쪽 위의 톱니바퀴 모양의 설정 클릭  톱니바퀴 모양의 세팅을 누르면 왼쪽 메뉴바의 항목이 바뀌는데 그중에서 API keys를 클릭한다.그러면 API Keys 화면이 나온다.화면에서 + Create new..

Docker로 django, gunicorn, postgreSQL, Nginx 연동하기  1. miniforge 설치하고 가상환경 만들기  1) miniforge 설치는 아래의 링크 참조https://datanavigator.tistory.com/65 mini-forge 설치하고 conda-forge를 기본 repository로 변경하기mini-forge 설치하고 conda-forge를 기본 repository로 변경하기 아나콘다가 유료화 되었기 때문에 200인 이상의 기업에서 anaconda를 사용할 경우 사용료를 내야 한다.그러나 conda 자체는 오픈소스이기datanavigator.tistory.com 2)  파이썬 3.11.6 버전으로 가상환경 만들고 가상환경 진입하기conda create -n ..