목록deeplearning (6)

Data Navigator

[NLP, gensim] 호텔스닷컴 사용자 리뷰 Word2Vec 분석

기존의 호텔스 닷컴 사용자 리뷰 분석을 gensim 모듈의 Word2Vec을 사용하여 다시 분석해 보았다. Word2Vec는 단어를 벡터화 한 후 단어들 간에 상관도가 높은 것들을 모아서 추출할 수 있다. 1. 분석결과 1) 사용자 리뷰 전체를 벡터화해서 가장 빈도수가 높은 상위 10개 단어들을 넣고 연관 단어를 찾았으나 특이한 점은 발견 할 수 없었음. 2) 평점 8 이상을 good(만족), 7 이하를 bad(불만족)으로 구별하여 각각 다시 벡터화 3) good(만족) 그룹에서는 역시 특이한 점을 찾기 어려웠고 bad(불만족) 그룹에서 의미있는 자료가 나옴 4) bad(불만족) 그룹에서 눈에 띄었던 결과 검색어: 방음 ('옆방', 0.9461838006973267), ('층간', 0.9254038333..
Machine Learning, Deep Learning 2021. 2. 25. 00:38
[NLP, PyTorch] IMDB 리뷰 감성분류하기 - PyTorch, torchtext

IMDB 리뷰 감성 분류하기 PyTorch, Torchtext¶ In [1]: import os import torch import torch.nn as nn import torch.nn.functional as F from torchtext import data, datasets import random 1. 랜덤시드, 하이퍼 파라미터 지정¶ In [2]: # 랜덤 시드 고정 SEED = 5 random.seed(SEED) torch.manual_seed(SEED) Out[2]: In [3]: # 하이퍼 파라미터 정의 BATCH_SIZE = 64 lr = 0.001 EPOCHS = 10 2. GPU 연산을 위한 CUDA 환경 세팅¶ In [4]: USE_CUDA = torch.cuda.is_availa..
Machine Learning, Deep Learning 2021. 2. 23. 15:57
[NLP, gensim] 영문 데이터 Word2Vec 만들고 Embedding Visualization으로 시각화 하기

1. 영어 Word2Vec 만들기 gensim 패키지 사용¶ In [13]: import nltk nltk.download('punkt') [nltk_data] Downloading package punkt to /home/haram4th/nltk_data... [nltk_data] Package punkt is already up-to-date! Out[13]: True In [14]: import urllib.request import zipfile from lxml import etree import re from nltk.tokenize import word_tokenize, sent_tokenize 2. Data load (ted_en-20160408.xml, 출처: wit3.fb..
Machine Learning, Deep Learning 2021. 2. 17. 23:49
[PyTorch] Mini Batch and Data Load를 이용한 다중 회귀 분석 모델

In [62]: import numpy as np import torch import torch.nn as nn import torch.nn.functional as F In [63]: from torch.utils.data import TensorDataset from torch.utils.data import DataLoader In [64]: X_train = torch.FloatTensor([[73, 80, 75], [93, 88, 93], [89, 91, 90], [96, 98, 100], [73, 66, 70]]) y_train = torch.FloatTensor([[152], [185], [180], [196], [142]]) In [65]: # TensorDataset은 기본적으로 텐서를 ..
Machine Learning, Deep Learning 2021. 2. 14. 17:41
[PyTorch] 파이토치 기본 조작2 - view, Squeeze, Unsqueeze, Type Casting, concatenate, Stacking, ones_like와 zeros_like, In-place Operation

¶ In [1]: import numpy as np import torch 뷰(View) - 원소의 수를 유지하면서 텐서의 크기 변경¶ 파이토치 텐서의 뷰(View)는 넘파이에서의 리쉐이프(Reshape)와 같은 역할¶ In [3]: t= np.array([[[0, 1, 2], [3, 4, 5]], [[6, 7, 8], [9, 10, 11]]]) In [4]: ft = torch.FloatTensor(t) In [5]: print(ft.shape) torch.Size([2, 2, 3]) 3차원 텐서에서 2차원 텐서로 변경¶ In [6]: ft.view([-1,3]) Out[6]: tensor([[ 0., 1., 2.], [ 3., 4., 5.], [ 6., 7., 8.], [ 9., 10., 11.]])..
Machine Learning, Deep Learning 2021. 2. 13. 15:44
[PyTorch] 파이토치 기본 조작 - Tensor 만들기, .matmul, .mul, 브로드캐스팅, mean(), sum(), max(), agrmax()

Numpy로 Tensor 만들기¶ In [1]: import numpy as np 1차원 백터 In [2]: t = np.array([0.,1.,2.,3.,4.,5.,6.]) In [3]: t Out[3]: array([0., 1., 2., 3., 4., 5., 6.]) .ndim으로 몇 차원인지 확인¶ In [5]: t.ndim Out[5]: 1 .shape로 크기 및 형태 출력¶ In [6]: t.shape Out[6]: (7,) 2차원 행렬(matrix) 만들기¶ In [7]: t = np.array([[1., 2., 3.], [4., 5., 6.], [7., 8., 9.], [10., 11., 12.]]) t Out[7]: array([[ 1., 2., 3.], [ 4., 5., 6.], [ 7...
Machine Learning, Deep Learning 2021. 2. 8. 19:14
이전 Prev 1 Next 다음