Data Navigator

"한빛미디어 서평단 활동을 위해서 책을 협찬 받아 작성된 서평입니다." NLP와 LLM 실전 가이드 - nlp 기초부터 LLM까지 자세히 공부할 수 있는 책 - ​  안녕하세요.이번에 소개할 책은 "NLP와 LLM 실전 가이드: 기초 수학부터 실전 AI 문제 해결까지" 입니다.​결론부터 간단하게 이야기 하면 NLP를 처음 공부하는 분들도 쉽게 이해할 수 있는 난이도로 아주 체계적으로 잘 만들어진 책이라고 할 수 있을 것 같습니다. ​내용은 간단한 수학, 머신러닝을 활용한 NLP, 딥러닝을 활용한 NLP, LLM 의 원리와 LLM을 효율적으로 활용하는 방법, LLM을 이용한 서비스를 만드는 방법, 향후 기술에 대한 내용으로 구성되어 있습니다. 내용이 너무 쉽지도 너무 어렵지도 않은 적당한 난이도로 되어 ..

GPT API를 활용한 인공지능 앱 개발 2판 - 인공지능 서비스 개발을 위한 필독서 -   오늘 소개할 책은 GPT API를 활용한 인공지능 앱 개발 2판 입니다.  결론부터 먼저 말씀드리면 ChatGPT를 만든 OpenAI의 API를 활용해 서비스를 개발하기 위해서 꼭 읽어봐야할 필독서라고 할 수 있습니다.  요즘 인공지능 기술이 워낙 빠르게 발전하고 있고 수시로 업데이트가 이뤄지기 때문에 조금만 지나도 옛 정보가 되어버리는데요. 이 책은 2024년 11월까지의 내용을 기준으로 업데이트가 되어 있기 때문에 오류 없이 실습을 잘 할 수 있었습니다. 이 글을 쓰는 지금은 또 딥시크 사태 이후 OpenAI가 ChatGPT o3 를 발표해서 이 책의 내용의 주가 되는 ChapGPT 4o, 부록으로 추가한 o..

mini-forge windows에 설치하기  1. 아래의 링크를 클릭해 miniforge github 페이지로 이동한다.https://github.com/conda-forge/miniforge GitHub - conda-forge/miniforge: A conda-forge distribution.A conda-forge distribution. Contribute to conda-forge/miniforge development by creating an account on GitHub.github.com 2. 이동된 페이지에서 스크롤을 내려 windows install을 찾는다.   스크롤을 중간쯤 내리다가 보면 Install 부분에 Windows 가 있고 거기에서 the Windows instal..

git설치, github연결하기 - ssh 퍼블릭키 생성 및 등록, vscode설치 및 플러그인 설치 포함 -   1. 크롬웹브라우저 설치  여러 웹브라우저가 있지만 개발할 때 가장 편리한 것은 역시 Google Chrome 이다. 먼저 크롬 웹브라우저를 설치한다.   Chrome - 원하는 대로 활용할 수 있는 빠르고 안전한 웹브라우저 Chrome 웹브라우저더욱 스마트해진 Google로 더 간편하고 안전하고 빠르게.www.google.com 2. 압축 해제 프로그램(반디집) 설치폴더 생성이나 압축 해제시 편리하게 사용할 수 있는 압축 해제 프로그램을 설치한다.https://kr.bandisoft.com/bandizip/dl/ 반디집 - 반디집 설치파일 다운로드반디집을 다운로드해 주셔서 감사합니다. 반디..

파이썬으로 배우는 통계학 교과서 2판- 쉽고 자세한 통계학 교과서의 정석 - 이번에 소개할 책은 "파이썬으로 배우는 통계학 교과서 2판"입니다. 데이터 분석을 공부하면서 꼭 넘어야 할 산 두 가지는 수학과 통계학 입니다. 특히 통계학은 데이터 전처리부터 EDA(탐색적 데이터 분석), 변수 선택, 파생 변수 생성, 회귀, 분류 알고리즘을 이해하는데 있어서 빠짐없이 들어가기 때문에 꼭 넘어야 할 산입니다. 저도 데이터분석을 공부하면서 여러 권의 통계학 책을 공부했었는데요. 항상 통계를 공부하면서 딱 이거다!! 하는 책은 없었습니다. 쉬운 책은 너무 쉽고 기초적인 내용만 나와있고, 쉬운 책이 아닌 다른 책들은 통계학 전공자들이 볼 것 같이 복잡한 내용이 너무 많아서 딱 중간 레벨의 책을 찾기가 너무 어려웠습니..

밑바닥부터 시작하는 딥러닝 5 - 생성모델의 원리를 차근차근 공부하자 -    이번에 소개할 책은 밑바닥부터 시작하는 딥러닝 시리즈 5 입니다. 책 제목에서도 알 수 있듯이 시리즈로 나온 도서이며 이번이 다섯 번째 책입니다. 이전 서적의 내용을 보면 밑바닥부터 시작하는 딥러닝 시리즈 1: 합성곱 신경망(CNN)과 이미지처리밑바닥부터 시작하는 딥러닝 시리즈 2: 순환 신경망(RNN)과 자연어처리밑바닥부터 시작하는 딥러닝 시리즈 3: 동적 계산 그래프(Define-by-Run)과 딥러닝 프레임워크밑바닥부터 시작하는 딥러닝 시리즈 4: 강화학습 의 주제를 다루고 있습니다. 이번에 새로나온 신간은 최근 주목받고 있는 생성명 모델과 관련된 내용으로 특히 이미지 생성과 관련된 내용을 자세히 다루고 있습니다.  이 ..

Langchain, OpenAI API, Programmable Search Engine로  검색어 기반 자동 기사 작성 프로그램 만들기02   Google Programmable Search Engine 에서 검색 엔진 ID, API key 발급받기를 완료했다면 최신 정보에 기반한 뉴스 기사를 생성하는 프로그램을 만들어 보자. 1. 필요 라이브러리 임포트from langchain.agents import Tool, create_openai_tools_agent, AgentExecutorfrom langchain_community.utilities import GoogleSearchAPIWrapperfrom langchain_core.prompts import ChatPromptTemplate, Mess..

Langchain, OpenAI API, Programmable Search Engine로 검색어 기반 자동 기사 작성 프로그램 만들기01   구글 검색엔진을 이용해 검색한 후 그 결과를 토대로 GPT를 이용해 기사를 작성하는 프로그램을 만든다.이 실습을 위해서는 OpenAI API 의 API KEY, Langchain 라이브러리 설치가 필요하므로 이전 글을 참고해서 미리 세팅한 후 이번 실습을 진행할 수 있다. 아래 링크의 글을 통해 미리 필요한 API KEY를 발급받고 필요한 라이브러리를 설치하자. https://datanavigator.tistory.com/91 OpenAI API 를 이용한 챗봇 만들기01 - OpenAI 계정등록하고 API key 발급 후 테스트 하기OpenAI API 를 이용한..

LangChain 의 개념과 주요 기능, 간단한 예제  LangChain은 언어 모델(Large Language Models, LLM)을 활용하여 애플리케이션을 만들기 위한 프레임워크이다. 언어 모델을 다양한 작업에 쉽게 연결하고 응용할 수 있도록 여러 구성 요소를 제공하여, 언어 모델 기반 애플리케이션을 간편하게 개발할 수 있게 한다. 특히 복잡한 멀티스텝 질의, 정보 검색, 체인 기반 워크플로우 구축에 유용해 대화형 AI 및 자동화된 데이터 처리 작업을 쉽게 구현할 수 있다.1. LangChain의 주요 기능체인(Chains): LangChain은 언어 모델을 기반으로 다양한 단계의 체인을 설정할 수 있게 한다. 예를 들어, 사용자의 질문을 받고 관련 문서를 검색한 후, 답변을 생성하는 일련의 단계를..

음성인식 모델 Whisper 에 대한 개념과 기본 사용법  OpenAI의 Whisper는 음성 인식을 통한 음성-텍스트 변환을 지원하는 모델로, OpenAI API를 통해 간편하게 사용할 수 있다. 이 시스템은 음성 데이터를 텍스트로 변환하는 데 특화되어 있으며, 다양한 언어와 억양을 정확하게 인식하는 기능을 갖추고 있다. 1. Whisper의 기능음성-텍스트 변환: Whisper는 음성을 텍스트로 변환하는 기능을 제공한다. 이를 통해 녹음된 오디오를 텍스트로 쉽게 기록할 수 있다.다국어 인식: Whisper는 여러 언어의 음성을 인식하고 텍스트로 변환할 수 있어, 다국어 환경에서도 유용하게 사용된다.언어 감지 및 번역: Whisper는 음성 파일 내에서 자동으로 언어를 감지하고, 지정된 경우 영어로 번..