티스토리

Data Navigator

검색하기

블로그 홈

Data Navigator

datanavigator.tistory.com/m

코딩하고분석하는돌스 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

tensorflow docker를 이용해 gpu 이용하기 + windows의 폴더 공유하기 tensorflow docker를 이용해 gpu 이용하기 + windows의 폴더 공유하기 - 텐서플로 도커로 gpu 사용하기 - 1. 윈도우 환경에서 Tensorflow 와 nvidia GPU을 이용해 deep learning 할 때 생기는 문제점 윈도우 환경에서 tensorflow와 nvidia gpu를 이용해 딥러닝을 하려고 하다보면 가상환경 세팅에 많은 시간을 소요하게 된다. 특히 윈도우 native에서는 최신 버전의 tensorflow가 더 이상 지원되지 않는다. 그래서 윈도우 서브시스템인 wsl2 환경에서 해야 하는데, wsl2 환경에서는 그래픽 드라이버, cuda, cudatoolkit을 설치하고 설정하는 것이 복잡하고 제대로 설치 후 환경설정을 했는데도 인식이 제대로 되지 않는 경우가 많다.. 공감수 0 댓글수 0 2024. 4. 16.
github에 실수로 100mb 이상 파일을 push 후 reset, revert 해도 push 안되는 문제 해결법 github에 실수로 100mb 이상 파일을 push 후 reset, revert 해도 push 안되는 문제 해결법 1. 문제 상황 작업을 하다가 보면 가끔 github에 100mb 이상되는 파일을 포함시켜 commit 하고 원격저장소에 push했다가 용량문제로 push가 되지 않고 오류가 날 때가 있다. github에 강제로 push해보지만 용량 초과로 push 실패 이 상황에서는 git reset . 을 해도 로컬 저장소의 object 디렉토리에 이미 파일이 올라가 있어서 아무리 예전으로 되돌려도 push 할때 다시 원격저장소에 push가 자동으로 된다는 점이다. 심지어 원본 디렉토리에서 대용량 파일을 완전히 삭제후 다시 git add -> git commit 을 해도 push 단계에서 다시 나온다... 공감수 0 댓글수 0 2024. 4. 1.
github push 할 때 access denied가 나올 때 해결방법 windows windows 환경에서 github에 push 할 때 access denied 에러가 나올 때 해결방법 1. 본인의 컴퓨터에서 작업 할 때 1) ssh 키 등록을 하지 않아서 생긴 문제일 경우 1. window키 + r을 눌러 cmd를 입력해 commend prompt 터미널을 엽니다. 2. ssh키를 생성 후 gitub에 등록합니다. 3. SSH 키 생성: 먼저 SSH 키를 생성해야 합니다. 이는 ssh-keygen -t rsa -C "your_email@example.com" 명령을 실행하여 수행할 수 있습니다. 이 명령은 RSA 암호화를 사용하는 SSH 키를 생성하며, 이메일 주소는 키의 식별자로 사용됩니다. ssh-keygen -t rsa -C "your_email@example.com" 4. S.. 공감수 0 댓글수 0 2024. 3. 6.
git bash에 anaconda 경로 설정하기 git bash에 anaconda 경로 설정하기 1. ~/.bashrc 에 경로 등록 echo ". /c/Users//miniforge3/etc/profile.d/conda.sh" >> ~/.bashrc 2. source ~/.bashrc 로 반영하기 2. source ~/.bashrc 3. 윈도우 터미널에 git bash 추가하기 1. cmd 를 관리자모드로 실행 2. ctrl + , 로 설정을 열고 왼쪽 하단에 Json 파일 열기 실행 3. profiles 부분에 아래 내용 추가 { "commandline": "\"%PROGRAMFILES%\\git\\usr\\bin\\bash.exe\" -i -l", "cursorShape": "filledBox", "guid": "{124fc1da-dadc-427.. 공감수 0 댓글수 0 2024. 2. 20.
AMD, radeon, intel 내장그래픽을 사용한 딥러닝 GPU 가속 DirectML AMD, radeon, intel 내장그래픽을 사용한 딥러닝 GPU 가속 딥러닝을 공부하다가 보면 학습을 시키는데 시간이 너무 오래 걸리는 경우가 발생한다. NVIDIA의 그래픽 카드가 있다면 좋겠지만 가격이 비싸고, 내장그래픽만 있는 노트북에서 작업한다면 그래픽카드 추가가 불가능하기 때문에 CPU만 사용해서 오랜시간 학습을 시켜야 하는 상황이 생긴다. Google colab을 써서 GPU를 사용할 수도 있지만 연결이 갑자기 끊길 때도 많고 유료 버전을 사용하다고 해도 최대 사용시간과 학습중 갑자기 연결이 끊기는 경우는 언제든 발생할 수 있다. NVIDIA GPU가 없더라도 AMD CPU에 내장된 그래픽카드나 INTEL CPU에 내장된 그래픽 카드로도 딥러닝 학습시 GPU 가속을 할 수 있는데, 그것은 .. 공감수 1 댓글수 1 2024. 2. 16.
mini-forge 설치하고 conda-forge를 기본 repository로 변경하기 mini-forge 설치하고 conda-forge를 기본 repository로 변경하기 아나콘다가 유료화 되었기 때문에 200인 이상의 기업에서 anaconda를 사용할 경우 사용료를 내야 한다.그러나 conda 자체는 오픈소스이기 때문에 conda를 설치하는 것은 무료이며, 레포지토리를 conda-forge로 변경하면 200인 이상의 기업이라도 무료로 사용이 가능하다. 1. miniforge 설치하기 https://github.com/conda-forge/miniforge1) 아래의 링크에서 miniforge를 다운로드 한다. GitHub - conda-forge/miniforge: A conda-forge distribution.A conda-forge distribution. Contribute.. 공감수 1 댓글수 0 2024. 2. 15.
WSL2 Ubuntu에 hadoop 설치하기 WSL2 Ubuntu에 hadoop 설치하기 1.java openjdk-8 설치 및 환경 변수 설정 1) java openjdk-8 설치 sodo apt update sudo apt-get update sudo apt-get install openjdk-8-jdk apt update apt-get update java openjdk-8-jdk 설치 2) .bashrc에 JAVA_HOME 추가 vi ~/.bashrc vi 편집기로 들어오면 i 눌러서 삽입모드로 변형 후 .bashrc 제일 밑에 아래의 경로 추가 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 JAVA_HOME 경로 설정 esc :wq 로 저장 3) source ~/.bascrc 로 패스 적용한 것.. 공감수 0 댓글수 1 2023. 11. 8.
wsl2 Ubuntu Anaconda 가상환경에 Tensorflow, cudatoolkit, cudnn 설치하고 gpu 사용하기 wsl2 Ubuntu Anaconda 가상환경에 Tensorflow, cudatoolkit, cudnn 설치하고 gpu 사용하기 이 글은 윈도우 10/11 에 설치된 wsl2에 ubuntu-20.04 / ubuntu-22.04 를 설치하고 Anaconda를 설치한 환경에서 현재 글 작성일 기준 (2023-11-03) 최신 버전 tensorflow 2.14 과 nvidia gpu를 사용하도록 셋팅하는 방법을 설명합니다. 1. wls2 에 설치한 ubuntu 에 tensorflow를 설치하는 이유 tensorflow는 공식적으로 2.10 버전을 마지막으로 windows 환경에서 gpu 가속 지원을 중단했다. 최신 tensorflow 버전은 2.14다. deep learning 특성상 훈련시간이 오래걸리고 c.. 공감수 0 댓글수 2 2023. 11. 3.
WSL2 Ubuntu에 Anaconda 설치 및 path 설정하기 ./conda init WSL2 Ubuntu에 Anaconda 설치 및 path 설정하기 1. 아나콘다를 다운로드 하기 위해 firefox 설치 wsl에 ubuntu를 설치하고 난 후에는 기본 커널 외 다른 프로그램은 거의 설치되어 있지 않기 때문에 여러가지 프로그램 설치가 필요하다. 우선 anaconda를 받기 위해서는 웹 접속이 필요하므로 firefox를 먼저 다운로드해 설치하자.. 터미널에서 firefox를 치면 firefox가 없다고 나오면서 설치 방법을 알려준다. sudo apt install firefox로 설치 sudo apt install firefox 설치가 완료되면 터미널에 firefox를 입력해 웹브라우저 실행 firefox 2. firefox 검색창에 anaconda 검색 3. An.. 공감수 1 댓글수 2 2023. 10. 22.
WSL2 Ubuntu 설치, 목록확인, 삭제 WSL2 Ubuntu 설치, 목록확인, 삭제 윈도우에서 리눅스를 사용하기 위해서는 WSL 을 설치하고 Ubuntu나 CentOS 같은 리눅스 배포판을 사용하면 편리하다. 1.시작 버튼 옆 검색에서 PowserShell 검색 2. PowserShell 관리자 모드로 실행 3. wsl 설치 wsl --install wsl --install 4. wsl에 설치가능한 리눅스 배포판 검색 wsl -l -o wsl -l -o 5. 원하는 배포판을 선택해서 설치 최신 버전인 Ubuntu-22.04로 설치할 것임 위 화면에서 NAME 아래 있는 이름 중 선택 wsl --install -d Ubuntu-22.04 로 설치 wsl --install -d Ubuntu-22.04 6. 설치가 완료되면 Enter new UNI.. 공감수 0 댓글수 0 2023. 10. 22.
WSL2 Ubuntu 한글화 설정 WSL2 Ubuntu 한글화 설정 윈도우에 WSL2를 설치하고 ubuntu를 다운로드하면 리눅스를 편리하게 사용할 수 있다. 하지만 한글화가 되어 있지 않기 때문에 한글화 설정이 필요하다. 1. 한글 폰트 설치 sudo apt-get install fonts-nanum* 2. 로케일 설정 sudo dpkg-reconfigure locales ko_KR.UTF-8 UTF-8로 체크하고(space bar 사용) Tab으로 이동 후 OK 후 엔터 ko_KR.UTF-8 선택 후 Tap키를 사용해 OK 이동 후 엔터 3. 터미널 재시작 4. locale 명령으로 LANG=ko_KR.UTF-8 변경 확인 locale 5. 한글 입력기 설치 sudo apt update sudo apt-get update sudo a.. 공감수 1 댓글수 0 2023. 10. 21.
[Django] docker-compose 로 django와 mysql 연결하기 django로 만든 프로젝트를 docker-compose로 세팅하면서 mysql DB를 연결하는 방법 mysqlclient가 속도면에서 빠르기 때문에 권장되고 있지만 2023년 9월 14일 기준으로 docker에서 pip install시 에러가 발생해 pymysql로 진행함. 1. pymysql 설치 pip install pymysql 2. django project의 settings.py 수정 import pymysql 추가 import os from pathlib import Path import pymysql # Build paths inside the project like this: BASE_DIR / 'subdir'. BASE_DIR = Path(__file__).resolve().parent.. 공감수 0 댓글수 0 2023. 9. 14.
주피터 노트북에 아나콘다 가상환경 커널 추가하기 주피터 노트북에 아나콘다 가상환경 커널 추가 / 삭제하기 jupyter notebook에 Anaconda 가상환경 커널 추가 / 삭제하기 1. Anaconda 가상환경 생성 시작버튼 => Anaconda Prompt 실행 conda create -n python= 으로 가상환경 생성 예) conda create -n pytest python=3.11 conda create -n pytest python=3.11 pytest라는 이름의 가상환경을 만들고 python은 3.11.x 버전으로 설치 conda create -n pytest python=3.11 을 입력하고 실행하면 Proceed ([y]/n)? 이 나오는데 y를 입력하고 엔터 설치가 완료되면 done이라는 글자와 함께 가상환경 활성화와 비활성화.. 공감수 0 댓글수 0 2023. 7. 22.
PostgreSQL 설치 1. PostgreSQL 다운로드 https://www.enterprisedb.com/downloads/postgres-postgresql-downloadshttps://www.postgresql.org/download/windows/ PostgreSQL: Windows installers Windows installers Interactive installer by EDB Download the installer certified by EDB for all supported PostgreSQL versions. Note! This installer is hosted by EDB and not on the PostgreSQL community servers. If you have issues with t.. 공감수 0 댓글수 0 2023. 7. 22.
Mongo DB 설치 1. 몽고 DB 사이트에 접속 해서 Connunity Edition 다운로드 https://www.mongodb.com/try/download/community Try MongoDB Community Edition Try MongoDB Community Edition on premise non-relational database including the Community Server and Community Kubernetes Operator for your next big project! www.mongodb.com 왼쪽 메뉴에서 MongoDB Community Server 선택 오른쪽 하단에서 Platform Windows x64 선택 2.다운로드 받은 파일 실행 후 MongoDB 설치 다운받은 파일.. 공감수 0 댓글수 0 2023. 7. 21.
Invalid version: '0.996/ko-0.9.2' - Mecab 설치 오류 해결 - Ubuntu22.04, Konlpy, mecab 1. 발생오류: Ubuntu에서 Mecab 설치시 SetuptoolsDepreciationWarning: Invalid version: '0.996/ko-0.9.2' 에러 발생 우분투 22.04, Anaconda 가상환경 python 3.11.x 환경에서 konlpy 설치시 홈페이지에 있는 mecab을 설치하는 명령 sudo apt-get install curl git bash 공감수 3 댓글수 0 2023. 6. 27.
[HTML] 제목, 단락, 주소, 인용문, 프리스타일 태그, h1-6, p, address, blockquote, pre [HTML] 제목, 단락, 주소, 인용문, 프리스타일 태그, h1-6, p, address, blockquote, pre 1. 제목 태그 ~ 제목 태그는 ~까지 있으며 순차적으로 크기가 달라진다. 제목 태그는 반드시 제목에만 사용한다. 본문의 특정 문장을 강조하기 위해서 제목 태그를 사용하면 안된다. 제목 태그 안에 P, blockquote, a같은 다른 태그를 사용할 수 없다. 제목 태그 h1 제목 태그 h2 제목 태그 h3 제목 태그 h4 제목 태그 h5 제목 태그 h6 제목 태그 h1 제목 태그 h2 제목 태그 h3 제목 태그 h4 제목 태그 h5 제목 태그 h6 2. 단락 태그 글의 문단을 나눌 때 사용 Lorem ipsum dolor sit, amet consectetur adipisicing .. 공감수 0 댓글수 0 2021. 6. 8.
[HTML] ruby, time 으로 주석과 시간정보 넣기 [HTML] ruby, time 으로 주석과 시간정보 넣기 1. ruby 일본어나 한자에 주석을 달 수 있다. 家和萬事成가화만사성 家和萬事成가화만사성 한 글자에 하나씩 루비 주석을 달 때 家가 和화 萬만 事사 成성 家가 和화 萬만 事사 成성 한글위에 점을 찍어 강조할 때 일본어나 한자에 주＊ 석＊ 을 달 수 있다. 일본어나 한자에 주＊ 석＊ 을 달 수 있다. 2. time 시간을 표현할 때 사용. 단, 화면상에 표시는 되지 않는다. 오늘은 아들 생일이라서 일찍 들어가 봐야 합니다. 오늘은 아들 생일이라서 일찍 들어가 봐야 합니다. 논문 발표일은 2021년 6월 04일 입니다. 논문 발표일은 2021년 6월 04일 입니다. 공감수 0 댓글수 0 2021. 6. 6.
[HTML] dfn, abbr, cite, small 태그 활용법 리얼 오사카 황성민 [HTML] dfn, abbr, cite, small 태그 활용법 1. dfn 태그 dfn 단어에 대한 뜻을 적어줄 때 Title 속성을 이용해서 적어줌. HTML HTML 2. abbr 태그 abbr 설명을 축약된 용어를 풀어쓰고 싶을 때 월드 와이드 웹 컨소시엄(W3C) 월드 와이드 웹 컨소시엄( W3C ) 3. cite 태그 cite 작품 제목을 표현 할 때 리얼 오사카 황성민 리얼 오사카 황성민 4. small 태그 small 부가적인 설명을 적을 때 값: 50,000원 (부가세별도) 값: 50,000원 (부가세별도) 공감수 1 댓글수 0 2021. 6. 5.
[HTML] em, strong, mark 태그의 차이와 사용법 [HTML] em, strong, mark 태그의 차이와 사용법 1. em 태그 (이탤릭으로 기울어져서 표기 됨) em: emphasis 주관적인 강조일 때 예) 우리집 화단에서 가장 예쁜 꽃은 장미다. 우리집 화단에서 가장 예쁜 꽃은 장미다. 2. strong 태그 (글자가 두껍게 됨) strong: importance 객관적인 사실을 강조할 때 예) 저기 있는 웅덩이는 깊어서 위험하므로 들어가지 마시오. 저기 있는 웅덩이는 깊어서 위험하므로 들어가지 마시오. 3. mark 태그 (노란색 형광펜을 칠한 것처럼 됨) 형광펜처럼 강조할 때 사용. 특히 문장 뒤에 부연 설명이 길게 나올 때 주제 문장을 강조할 때 사용. 예) 여름투어에는 야외 웨이팅에 대한 사전 준비가 필요하다. 손풍기나 열을 조절할 수 있.. 공감수 0 댓글수 0 2021. 6. 4.
[pandas] .loc를 사용하여 조건에 맞는 행 인덱싱(마스킹 인덱싱) pandas 마스킹 검색 df.loc[비교할 행 == True/False 조건 값]¶ pandas의 DataFrame과 Series는 모두 ndarray 이므로 비교연산 및 브로드캐스팅이 적용될 수 있음 df.loc[ 조건 비교할 컬럼과 조건 ] 으로 True, False를 체크하여 인덱싱 가능 In [1]: import os import pandas as pd os.chdir(r"D:\bigdata\jupyter\data_preprocessing\1. 데이터 핸들링\데이터") In [3]: df = pd.read_csv('온라인_판매기록.csv', encoding='ANSI', engine='python') df Out[3]: 쇼핑몰 제품 수량 판매금액 쇼핑몰 유형 0 쿠팡 제품_16 8 1134400.. 공감수 1 댓글수 0 2021. 4. 15.
[pandas] DaraFrame의 중복 제거 .drop_duplicates DaraFrame의 중복 제거_drop_duplicates¶ drop_duplicates 함수로 중복이 있는 행 제거¶저장이 되지 않으므로 결과를 저장하고 싶으면 변수에 넣어줘야 함¶ subset: 중복 기준을 판단하는 컬럼(목록) keep: 중복이 있는 행의 어느 부분을 남길 것인지 결정 {'first','last','false'} 'first': 첫 번째 행을 남김 'last': 마지막 행을 남김 'false': 중복 행 모두 제거 In [1]: import pandas as pd In [2]: df = pd.DataFrame({"A":[1,2,3,1,2,3],'B':[3,2,1,3,2,1],'C':[1,2,3,4,3,2]}) df Out[2]: A B C 0 1 3 1 .. 공감수 0 댓글수 0 2021. 4. 14.
[pandas] 판다스 DataFrame정렬 sort_values() pandas DataFrame 정렬 sort_values()¶ Series와 마찬가지로 DaraFrame도 sort_values()로 정렬 가능¶ by: 정렬 기준 컬럼 ascending: 오름차순으로 정렬 key: 정렬 기준 함수(주로 lambda 함수 사용) na_position: 결측이 있는 경우 어디에 배치할 것인지 결정 {first, last} In [2]: import pandas as pd import numpy as np In [3]: df = pd.DataFrame({"A":[1,2,3,1,2,3],'B':[3,2,1,3,2,1],'C':[1,2,3,4,3,2]}) df Out[3]: A B C 0 1 3 1 1 2 2 2 2 3 1 3 3 1 3 4 4 2 2 3 5 3 1 2 In [.. 공감수 0 댓글수 0 2021. 4. 13.
[pandas] Series 데이터 정렬하기 sort_values(), .value_counts(), .unique() pandas Series 정렬 sort_values(), value_counts, unique¶ sort_values() 사용¶ ascending: 오름차순으로 정렬 key: 정렬 기준 함수(주로 lambda 함수 사용) na_position: 결측이 있는 경우 어디에 배치할 것인지 결정 {first, last} In [1]: import pandas as pd import numpy as np In [2]: S = pd.Series(np.random.randint(1,10,100)) #1과 10 사이의 숫자를 100개 생성 S.iloc[0:3] = np.nan # 0부터 3까지 결측치로 변환 S.head(10) Out[2]: 0 NaN 1 NaN 2 NaN 3 2.0 4 7.0 5 6.0 6 9.0 7.. 공감수 0 댓글수 0 2021. 4. 12.
[python] python List와 Tuple 데이터 정렬 하기 sort, sorted List 와 Tuple의 정렬 sort, sorted¶ sort: 리스트와 튜플 자체를 정렬 (return값이 없음)¶ reverse: 내림차순으로 정렬할지에 대한 여부를 결정하는 매개변수 pandas에서 inplace=True로 설정한 것과 같음 sorted: 정렬된 리스트와 튜플을 반환¶ reverse: 내림차순으로 정렬할지에 대한 여부를 결정하는 매개변수 key: 정렬 기준 함수(주로 lambda 함수 사용) sort 함수- 리스트.sort() 형식으로 사용, sort(리스트) 형식은 오류¶ In [4]: L = [1,4,3,5,2,5] L.sort() # 출력이 없고 L자체가 수정됨 In [5]: L Out[5]: [1, 2, 3, 4, 5, 5] In [3]: L = [1,4,3,5,2,5] L.. 공감수 0 댓글수 0 2021. 4. 11.
[pandas] groupby를 이용한 조건부 통계 groupby를 활용한 조건부 통계¶ groupby는 조건부 통계량을 계산하기 위한 방법¶분할, 적용, 결합의 3단계로 구성됨¶ 사용 방법: df.groupby(분할 기준 컬럼)[적용 기준 칼럼].집계함수 주요입력: by:분할 기준 컬럼(목록) as_index: 분할 기준 컬럼들을 인덱스로 사용할 것인지 여부 (default: True) 여러 개의 집계 함수나 사용자 정의 함수를 쓰고 싶다면 agg 함수를 사용해야 함 pivot_table과 groupby의 차이점¶ 결과값은 pivot_table과 groupby는 동일함 그러나 출력 값의 형태에 차이가 있으므로 상황에 맞게 구별해 사용 pivot_table은 출력 결과 자체가 결과물인 경우, groupby는 중간 산출물로써 사용 pivot_table은 h.. 공감수 0 댓글수 0 2021. 4. 10.
[pandas] pivot_table을 이용한 조건별 변수별 통계량 파악 pivot table 조건에 따른 변수들의 통계량 파악¶ pandas.pivot_table 행단위 데이터 프레임을 피벗 테이블로 변환 data: 데이터 프레임 index: 행에 들어갈 조건 columns: 열에 들어갈 조건 values: 집계 대상 컬럼 목록 aggfunc: 집계 함수 In [1]: import os import pandas as pd os.chdir(r"D:\bigdata\jupyter\data_preprocessing\1. 데이터 핸들링\데이터") In [4]: df = pd.read_csv("온라인_판매기록.csv", encoding="ANSI", engine='python') In [5]: df.head() Out[5]: 쇼핑몰 제품 수량 판매금액 쇼핑몰 유형 0 쿠.. 공감수 0 댓글수 0 2021. 4. 9.
[pandas] concat, os.listdir, openpyxl을 이용한 데이터 통합 concat, os.listdir, openpyxl을 이용한 데이터 통합¶ 1. merge와 concat의 차이¶ merge는 2개의 데이터 프레임, concat은 2개 이상의 데이터 프레임을 이어 붙이는데 사용 빈데이터 프레임을 만들고 여러 개의 데이터 프레임을 리스트로 입력 받아 붙이는 것이 가능 2.os.listdir: path상에 있는 모든 파일명을 리스트 형태로 변환¶ 3.openpyxl를 이용한 엑셀시트 목록 가져오기¶ python 3.8.5에서는 xlrd로 xlsx 파일을 불러오는 것이 불가능 xlrd의 대용으로 openpyxl사용 wb = openpyxl.load_workbook(file) # 엑셀 파일을 불러와 wb에 저장 wb.sheetnames #wb에 있는 시트 목록을 리스트 형태로.. 공감수 1 댓글수 0 2021. 4. 8.
[pandas] merge로 데이터 프레임 합치기 Pandas - merge를 이용한 데이터 프레임 통합¶ merge는 sql의 join과 같은 방식으로 통합된다. In [5]: import os import pandas as pd os.chdir(r"D:/bigdata/jupyter/data_preprocessing/1. 데이터 핸들링\데이터/") merge 기초 In [6]: df1 = pd.read_csv("merge_실습_employee_group.csv", engine="python") df2 = pd.read_csv("merge_실습_employee_hire_date.csv", engine="python") In [7]: df1 Out[7]: employee group 0 Bob Accounting 1 Jake Engineering 2 Lis.. 공감수 0 댓글수 0 2021. 4. 7.
[NLP, 키워드 빈도 분석] 고양시 관광 관련 인스타그램 수집 자료 분석 고양시 관광 관련 인스타그램 크롤링 자료 분석 결론 1. 인스타그램은 비공개 게시물이 많아 관련 키워드의 총 게시물 숫자에 비해서 수집이 가능한 게시물 수가 적었음. 2. 고양시 관련 여행 패턴과 자주 가는 관광지가 어디인지를 찾는 것이 목적이었으나 인스타그램이 주로 음식점, 카페 관련 게시물이 압도적으로 많은 관계로 목적에 맞는 결과가 도출되지 않음. 고양시 관광 관련 인스타그램 게시물에 언급된 단어 빈도 상위 100개의 그래프 추가 분석 과제 1. 딥러닝을 활용한 군집 분석과 단어 간의 상관관계 분석이 필요. (gensim, Word2Vec을 이용해 분석 예정) 2. 블로그와 페이스북 자료를 추가적으로 확보하여 함께 분석 하는 것이 필요. 분석환경 Mac OS Big Sur, python, panda.. 공감수 0 댓글수 0 2021. 3. 28.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.