Data Navigator

conda create --name --file requirements.txtconda 가상환경 패키지를 저장하고 다른 컴퓨터에 똑같이 설정하기 anaconda, mini-conda, mini-forge등의 conda 환경에서 가상환경을 만들어서 사용하다가 다른 컴퓨터에도 동일한 패키지로 세팅하고 싶다면 아래의 명령을 이용해서 패키지 목록을 저장하고 설치할 수 있다. 1. 가상환경에 설치된 패키지 목록 만들기conda list --explicit > requirements.txt 명령으로 옮기고 싶은 가상환경에 설치된 패키지 목록을 만든다.conda list --explicit > requirements.txt 2. requirements.txt 파일 새컴퓨터에 복사하기requirements.txt 파..

tensorflow docker를 이용해 gpu 이용하기 + windows의 폴더 공유하기 - 텐서플로 도커로 gpu 사용하기 - 1. 윈도우 환경에서 Tensorflow 와 nvidia GPU을 이용해 deep learning 할 때 생기는 문제점 윈도우 환경에서 tensorflow와 nvidia gpu를 이용해 딥러닝을 하려고 하다보면 가상환경 세팅에 많은 시간을 소요하게 된다. 특히 윈도우 native에서는 최신 버전의 tensorflow가 더 이상 지원되지 않는다. 그래서 윈도우 서브시스템인 wsl2 환경에서 해야 하는데, wsl2 환경에서는 그래픽 드라이버, cuda, cudatoolkit을 설치하고 설정하는 것이 복잡하고 제대로 설치 후 환경설정을 했는데도 인식이 제대로 되지 않는 경우가 많다..

git bash에 anaconda 경로 설정하기 1. ~/.bashrc 에 경로 등록 echo ". /c/Users//miniforge3/etc/profile.d/conda.sh" >> ~/.bashrc 2. source ~/.bashrc 로 반영하기 2. source ~/.bashrc 3. 윈도우 터미널에 git bash 추가하기 1. cmd 를 관리자모드로 실행 2. ctrl + , 로 설정을 열고 왼쪽 하단에 Json 파일 열기 실행 3. profiles 부분에 아래 내용 추가 { "commandline": "\"%PROGRAMFILES%\\git\\usr\\bin\\bash.exe\" -i -l", "cursorShape": "filledBox", "guid": "{124fc1da-dadc-427..

AMD, radeon, intel 내장그래픽을 사용한 딥러닝 GPU 가속 딥러닝을 공부하다가 보면 학습을 시키는데 시간이 너무 오래 걸리는 경우가 발생한다.NVIDIA의 그래픽 카드가 있다면 좋겠지만 가격이 비싸고, 내장그래픽만 있는 노트북에서 작업한다면 그래픽카드 추가가 불가능하기 때문에 CPU만 사용해서 오랜시간 학습을 시켜야 하는 상황이 생긴다.Google colab을 써서 GPU를 사용할 수도 있지만 연결이 갑자기 끊길 때도 많고 유료 버전을 사용하다고 해도 최대 사용시간과 학습중 갑자기 연결이 끊기는 경우는 언제든 발생할 수 있다. NVIDIA GPU가 없더라도 AMD CPU에 내장된 그래픽카드나 INTEL CPU에 내장된 그래픽 카드로도 딥러닝 학습시 GPU 가속을 할 수 있는데, 그것은 바로..

mini-forge 설치하고 conda-forge를 기본 repository로 변경하기 아나콘다가 유료화 되었기 때문에 200인 이상의 기업에서 anaconda를 사용할 경우 사용료를 내야 한다.그러나 conda 자체는 오픈소스이기 때문에 conda를 설치하는 것은 무료이며, 레포지토리를 conda-forge로 변경하면 200인 이상의 기업이라도 무료로 사용이 가능하다.  1. miniforge 설치하기  https://github.com/conda-forge/miniforge1) 아래의 링크에서 miniforge를 다운로드 한다. GitHub - conda-forge/miniforge: A conda-forge distribution.A conda-forge distribution. Contribute..

django로 만든 프로젝트를 docker-compose로 세팅하면서 mysql DB를 연결하는 방법 mysqlclient가 속도면에서 빠르기 때문에 권장되고 있지만 2023년 9월 14일 기준으로 docker에서 pip install시 에러가 발생해 pymysql로 진행함. 1. pymysql 설치 pip install pymysql 2. django project의 settings.py 수정 import pymysql 추가 import os from pathlib import Path import pymysql # Build paths inside the project like this: BASE_DIR / 'subdir'. BASE_DIR = Path(__file__).resolve().parent..

주피터 노트북에 아나콘다 가상환경 커널 추가 / 삭제하기 jupyter notebook에 Anaconda 가상환경 커널 추가 / 삭제하기 1. Anaconda 가상환경 생성 시작버튼 => Anaconda Prompt 실행 conda create -n python= 으로 가상환경 생성 예) conda create -n pytest python=3.11 conda create -n pytest python=3.11 pytest라는 이름의 가상환경을 만들고 python은 3.11.x 버전으로 설치 conda create -n pytest python=3.11 을 입력하고 실행하면 Proceed ([y]/n)? 이 나오는데 y를 입력하고 엔터 설치가 완료되면 done이라는 글자와 함께 가상환경 활성화와 비활성화..

1. 발생오류: Ubuntu에서 Mecab 설치시 SetuptoolsDepreciationWarning: Invalid version: '0.996/ko-0.9.2' 에러 발생 우분투 22.04, Anaconda 가상환경 python 3.11.x 환경에서 konlpy 설치시 홈페이지에 있는 mecab을 설치하는 명령 sudo apt-get install curl git bash

pandas 마스킹 검색 df.loc[비교할 행 == True/False 조건 값]¶ pandas의 DataFrame과 Series는 모두 ndarray 이므로 비교연산 및 브로드캐스팅이 적용될 수 있음 df.loc[ 조건 비교할 컬럼과 조건 ] 으로 True, False를 체크하여 인덱싱 가능 In [1]: import os import pandas as pd os.chdir(r"D:\bigdata\jupyter\data_preprocessing\1. 데이터 핸들링\데이터") In [3]: df = pd.read_csv('온라인_판매기록.csv', encoding='ANSI', engine='python') df Out[3]: 쇼핑몰 제품 수량 판매금액 쇼핑몰 유형 0 쿠팡 제품_16 8 1134400..

DaraFrame의 중복 제거_drop_duplicates¶ drop_duplicates 함수로 중복이 있는 행 제거¶저장이 되지 않으므로 결과를 저장하고 싶으면 변수에 넣어줘야 함¶ subset: 중복 기준을 판단하는 컬럼(목록) keep: 중복이 있는 행의 어느 부분을 남길 것인지 결정 {'first','last','false'} 'first': 첫 번째 행을 남김 'last': 마지막 행을 남김 'false': 중복 행 모두 제거 In [1]: import pandas as pd In [2]: df = pd.DataFrame({"A":[1,2,3,1,2,3],'B':[3,2,1,3,2,1],'C':[1,2,3,4,3,2]}) df Out[2]: A B C 0 1 3 1 ..