일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- 파이토치기본
- 파이썬웹개발
- 파이토치
- konlpy
- sort_values
- 데이터합치기
- deeplearning
- python 정렬
- gensim
- fastapi
- sklearn
- pytorch
- 비지도학습
- MachineLearning
- 딥러닝
- NLP
- fastapi #python웹개발
- 군집분석
- HTML
- 파이썬
- 머신러닝
- 자연어분석
- fastapi #파이썬웹개발
- LinearRegression
- pandas
- 판다스
- 사이킷런
- 판다스 데이터정렬
- 감성댓글분석
- Python
- Today
- Total
목록분류 전체보기 (58)
Data Navigator
conda create --name --file requirements.txtconda 가상환경 패키지를 저장하고 다른 컴퓨터에 똑같이 설정하기 anaconda, mini-conda, mini-forge등의 conda 환경에서 가상환경을 만들어서 사용하다가 다른 컴퓨터에도 동일한 패키지로 세팅하고 싶다면 아래의 명령을 이용해서 패키지 목록을 저장하고 설치할 수 있다. 1. 가상환경에 설치된 패키지 목록 만들기conda list --explicit > requirements.txt 명령으로 옮기고 싶은 가상환경에 설치된 패키지 목록을 만든다.conda list --explicit > requirements.txt 2. requirements.txt 파일 새컴퓨터에 복사하기requirements.txt 파..
Conda 가상환경에 R 설치하고 Jupyter Notebook 에서 R 사용하기 R은 파이썬과 함께 데이터분석에서 가장 많이 사용하는 언어이다. R은 주로 R studio 에서 사용하지만 나의 경우 R studio보다 google의 colab R 을 더 애용했다. 그런데 최근 구글 colob의 R이 너~~~무 느려졌다. 패키지 하나 설치하는데 10분이 넘게 걸린다... 그래서 conda 가상환경에 R을 설치하고 jupyter notebook으로 R 코딩을 하기 위한 환경 설정을 하기로했다. 1. 가상 환경 만들기원하는 파이썬 버전으로 가상환경을 만들자.conda create -n rdev python=3.10 2. 가상환경 활성화conda activate rdev 3. jupyter notebook 설..
tensorflow docker를 이용해 gpu 이용하기 + windows의 폴더 공유하기 - 텐서플로 도커로 gpu 사용하기 - 1. 윈도우 환경에서 Tensorflow 와 nvidia GPU을 이용해 deep learning 할 때 생기는 문제점 윈도우 환경에서 tensorflow와 nvidia gpu를 이용해 딥러닝을 하려고 하다보면 가상환경 세팅에 많은 시간을 소요하게 된다. 특히 윈도우 native에서는 최신 버전의 tensorflow가 더 이상 지원되지 않는다. 그래서 윈도우 서브시스템인 wsl2 환경에서 해야 하는데, wsl2 환경에서는 그래픽 드라이버, cuda, cudatoolkit을 설치하고 설정하는 것이 복잡하고 제대로 설치 후 환경설정을 했는데도 인식이 제대로 되지 않는 경우가 많다..
github에 실수로 100mb 이상 파일을 push 후 reset, revert 해도 push 안되는 문제 해결법 1. 문제 상황 작업을 하다가 보면 가끔 github에 100mb 이상되는 파일을 포함시켜 commit 하고 원격저장소에 push했다가 용량문제로 push가 되지 않고 오류가 날 때가 있다. github에 강제로 push해보지만 용량 초과로 push 실패 이 상황에서는 git reset . 을 해도 로컬 저장소의 object 디렉토리에 이미 파일이 올라가 있어서 아무리 예전으로 되돌려도 push 할때 다시 원격저장소에 push가 자동으로 된다는 점이다. 심지어 원본 디렉토리에서 대용량 파일을 완전히 삭제후 다시 git add -> git commit 을 해도 push 단계에서 다시 나온다...
windows 환경에서 github에 push 할 때 access denied 에러가 나올 때 해결방법 1. 본인의 컴퓨터에서 작업 할 때 1) ssh 키 등록을 하지 않아서 생긴 문제일 경우 1. window키 + r을 눌러 cmd를 입력해 commend prompt 터미널을 엽니다. 2. ssh키를 생성 후 gitub에 등록합니다. 3. SSH 키 생성: 먼저 SSH 키를 생성해야 합니다. 이는 ssh-keygen -t rsa -C "your_email@example.com" 명령을 실행하여 수행할 수 있습니다. 이 명령은 RSA 암호화를 사용하는 SSH 키를 생성하며, 이메일 주소는 키의 식별자로 사용됩니다. ssh-keygen -t rsa -C "your_email@example.com" 4. S..
git bash에 anaconda 경로 설정하기 1. ~/.bashrc 에 경로 등록 echo ". /c/Users//miniforge3/etc/profile.d/conda.sh" >> ~/.bashrc 2. source ~/.bashrc 로 반영하기 2. source ~/.bashrc 3. 윈도우 터미널에 git bash 추가하기 1. cmd 를 관리자모드로 실행 2. ctrl + , 로 설정을 열고 왼쪽 하단에 Json 파일 열기 실행 3. profiles 부분에 아래 내용 추가 { "commandline": "\"%PROGRAMFILES%\\git\\usr\\bin\\bash.exe\" -i -l", "cursorShape": "filledBox", "guid": "{124fc1da-dadc-427..
AMD, radeon, intel 내장그래픽을 사용한 딥러닝 GPU 가속 딥러닝을 공부하다가 보면 학습을 시키는데 시간이 너무 오래 걸리는 경우가 발생한다.NVIDIA의 그래픽 카드가 있다면 좋겠지만 가격이 비싸고, 내장그래픽만 있는 노트북에서 작업한다면 그래픽카드 추가가 불가능하기 때문에 CPU만 사용해서 오랜시간 학습을 시켜야 하는 상황이 생긴다.Google colab을 써서 GPU를 사용할 수도 있지만 연결이 갑자기 끊길 때도 많고 유료 버전을 사용하다고 해도 최대 사용시간과 학습중 갑자기 연결이 끊기는 경우는 언제든 발생할 수 있다. NVIDIA GPU가 없더라도 AMD CPU에 내장된 그래픽카드나 INTEL CPU에 내장된 그래픽 카드로도 딥러닝 학습시 GPU 가속을 할 수 있는데, 그것은 바로..
mini-forge 설치하고 conda-forge를 기본 repository로 변경하기 아나콘다가 유료화 되었기 때문에 200인 이상의 기업에서 anaconda를 사용할 경우 사용료를 내야 한다.그러나 conda 자체는 오픈소스이기 때문에 conda를 설치하는 것은 무료이며, 레포지토리를 conda-forge로 변경하면 200인 이상의 기업이라도 무료로 사용이 가능하다. 1. miniforge 설치하기 https://github.com/conda-forge/miniforge1) 아래의 링크에서 miniforge를 다운로드 한다. GitHub - conda-forge/miniforge: A conda-forge distribution.A conda-forge distribution. Contribute..
WSL2 Ubuntu에 hadoop 설치하기 1.java openjdk-8 설치 및 환경 변수 설정 1) java openjdk-8 설치 sodo apt update sudo apt-get update sudo apt-get install openjdk-8-jdk apt update apt-get update java openjdk-8-jdk 설치 2) .bashrc에 JAVA_HOME 추가 vi ~/.bashrc vi 편집기로 들어오면 i 눌러서 삽입모드로 변형 후 .bashrc 제일 밑에 아래의 경로 추가 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 JAVA_HOME 경로 설정 esc :wq 로 저장 3) source ~/.bascrc 로 패스 적용한 것..
wsl2 Ubuntu Anaconda 가상환경에 Tensorflow, cudatoolkit, cudnn 설치하고 gpu 사용하기 이 글은 윈도우 10/11 에 설치된 wsl2에 ubuntu-20.04 / ubuntu-22.04 를 설치하고 Anaconda를 설치한 환경에서 현재 글 작성일 기준 (2023-11-03) 최신 버전 tensorflow 2.14 과 nvidia gpu를 사용하도록 셋팅하는 방법을 설명합니다. 1. wls2 에 설치한 ubuntu 에 tensorflow를 설치하는 이유 tensorflow는 공식적으로 2.10 버전을 마지막으로 windows 환경에서 gpu 가속 지원을 중단했다. 최신 tensorflow 버전은 2.14다. deep learning 특성상 훈련시간이 오래걸리고 c..