목록딥러닝 (6)

Data Navigator

tensorflow docker를 이용해 gpu 이용하기 + windows의 폴더 공유하기

tensorflow docker를 이용해 gpu 이용하기 + windows의 폴더 공유하기 - 텐서플로 도커로 gpu 사용하기 - 1. 윈도우 환경에서 Tensorflow 와 nvidia GPU을 이용해 deep learning 할 때 생기는 문제점 윈도우 환경에서 tensorflow와 nvidia gpu를 이용해 딥러닝을 하려고 하다보면 가상환경 세팅에 많은 시간을 소요하게 된다. 특히 윈도우 native에서는 최신 버전의 tensorflow가 더 이상 지원되지 않는다. 그래서 윈도우 서브시스템인 wsl2 환경에서 해야 하는데, wsl2 환경에서는 그래픽 드라이버, cuda, cudatoolkit을 설치하고 설정하는 것이 복잡하고 제대로 설치 후 환경설정을 했는데도 인식이 제대로 되지 않는 경우가 많다..
Python 2024. 4. 16. 17:33
[NLP, gensim] 호텔스닷컴 사용자 리뷰 Word2Vec 분석

기존의 호텔스 닷컴 사용자 리뷰 분석을 gensim 모듈의 Word2Vec을 사용하여 다시 분석해 보았다. Word2Vec는 단어를 벡터화 한 후 단어들 간에 상관도가 높은 것들을 모아서 추출할 수 있다. 1. 분석결과 1) 사용자 리뷰 전체를 벡터화해서 가장 빈도수가 높은 상위 10개 단어들을 넣고 연관 단어를 찾았으나 특이한 점은 발견 할 수 없었음. 2) 평점 8 이상을 good(만족), 7 이하를 bad(불만족)으로 구별하여 각각 다시 벡터화 3) good(만족) 그룹에서는 역시 특이한 점을 찾기 어려웠고 bad(불만족) 그룹에서 의미있는 자료가 나옴 4) bad(불만족) 그룹에서 눈에 띄었던 결과 검색어: 방음 ('옆방', 0.9461838006973267), ('층간', 0.9254038333..
Machine Learning, Deep Learning 2021. 2. 25. 00:38
[NLP, gensim] 영문 데이터 Word2Vec 만들고 Embedding Visualization으로 시각화 하기

1. 영어 Word2Vec 만들기 gensim 패키지 사용¶ In [13]: import nltk nltk.download('punkt') [nltk_data] Downloading package punkt to /home/haram4th/nltk_data... [nltk_data] Package punkt is already up-to-date! Out[13]: True In [14]: import urllib.request import zipfile from lxml import etree import re from nltk.tokenize import word_tokenize, sent_tokenize 2. Data load (ted_en-20160408.xml, 출처: wit3.fb..
Machine Learning, Deep Learning 2021. 2. 17. 23:49
[PyTorch] Mini Batch and Data Load를 이용한 다중 회귀 분석 모델

In [62]: import numpy as np import torch import torch.nn as nn import torch.nn.functional as F In [63]: from torch.utils.data import TensorDataset from torch.utils.data import DataLoader In [64]: X_train = torch.FloatTensor([[73, 80, 75], [93, 88, 93], [89, 91, 90], [96, 98, 100], [73, 66, 70]]) y_train = torch.FloatTensor([[152], [185], [180], [196], [142]]) In [65]: # TensorDataset은 기본적으로 텐서를 ..
Machine Learning, Deep Learning 2021. 2. 14. 17:41
[PyTorch] 파이토치 기본 조작2 - view, Squeeze, Unsqueeze, Type Casting, concatenate, Stacking, ones_like와 zeros_like, In-place Operation

¶ In [1]: import numpy as np import torch 뷰(View) - 원소의 수를 유지하면서 텐서의 크기 변경¶ 파이토치 텐서의 뷰(View)는 넘파이에서의 리쉐이프(Reshape)와 같은 역할¶ In [3]: t= np.array([[[0, 1, 2], [3, 4, 5]], [[6, 7, 8], [9, 10, 11]]]) In [4]: ft = torch.FloatTensor(t) In [5]: print(ft.shape) torch.Size([2, 2, 3]) 3차원 텐서에서 2차원 텐서로 변경¶ In [6]: ft.view([-1,3]) Out[6]: tensor([[ 0., 1., 2.], [ 3., 4., 5.], [ 6., 7., 8.], [ 9., 10., 11.]])..
Machine Learning, Deep Learning 2021. 2. 13. 15:44
[PyTorch] 파이토치 기본 조작 - Tensor 만들기, .matmul, .mul, 브로드캐스팅, mean(), sum(), max(), agrmax()

Numpy로 Tensor 만들기¶ In [1]: import numpy as np 1차원 백터 In [2]: t = np.array([0.,1.,2.,3.,4.,5.,6.]) In [3]: t Out[3]: array([0., 1., 2., 3., 4., 5., 6.]) .ndim으로 몇 차원인지 확인¶ In [5]: t.ndim Out[5]: 1 .shape로 크기 및 형태 출력¶ In [6]: t.shape Out[6]: (7,) 2차원 행렬(matrix) 만들기¶ In [7]: t = np.array([[1., 2., 3.], [4., 5., 6.], [7., 8., 9.], [10., 11., 12.]]) t Out[7]: array([[ 1., 2., 3.], [ 4., 5., 6.], [ 7...
Machine Learning, Deep Learning 2021. 2. 8. 19:14
이전 Prev 1 Next 다음