heartcored98 / standalone-deeplearning Goto Github PK

2019 KAIST 딥러닝 홀로서기 세미나용 저장소입니다.

License: MIT License

Jupyter Notebook 100.00%

standalone-deeplearning's Introduction

이 저장소를 활용하시는 모든 분들께 알리는 중요 공지사항 (2021.01.05)

여러 랩 실습 코드 내에서 optimizer.zero_grad()가 매 iteration의 초반부에 호출되지 않고 Epoch 마다 한번씩만 실행되는 오류가 있었습니다. 해당 오류들은 모두 파악하여 trainloader 내에서 호출되도록 변경하였습니다. 오류 정정으로 강의 영상 상에서 보여지는 코드와 일부 달라질 수 있으나 본 저장소의 코드를 기준으로 강의를 수강해주시면 감사하겠습니다. (오류를 알려주신 @High-East님, 이준재님 감사드립니다.)

Standalone-DeepLearning

2019 KAIST 딥러닝 홀로서기 세미나용 저장소입니다.

각 세미나는 3~4개의 강의 세션과 실습 세션들로 구성되어 있습니다.

슬라이드를 원하시는 경우 슬라이드 링크를 통해 들어가신 후 우측 중간 쯤에 있는 Download 버튼을 누르시면 다운로드가 가능합니다.
오프라인 세미나 영상 자료는 유튜브 채널 혹은 비디오 링크를 통해 확인하실 수 있습니다.
실습 코드는 실습 코드 링크를 통해 들어가셔서 확인할 수 있으며 구글 콜라이보레이터를 통해서 직접 실행을 시키고 싶은 경우 실습 코드네 안내를 참고해주세요!
📑는 시작하기 전에 보면 좋은 자료, ✏️는 이론 강의, 📊는 실습 강의, 🎓는 과제 그리고 📢는 각 회차에 대한 피드백을 남길 수 있는 설문 링크입니다!

만약 저희 세미나가 마음에 드셨다면 우측 상단에 있는 🌟Star를 박아주세요! 미리 감사드리겠습니다!

Lec1 (01/17, Thur)

딥러닝 홀로서기 세미나 오리엔테이션, Machine Learning Basic과 Linear Regression에 대한 내용을 다뤘습니다.

✏️ Lec1-A(OT) / 슬라이드 / 비디오

✏️ Lec1-B(Machine Learning Basic) / 슬라이드 / 비디오

✏️ Lec1-C(Linear Regression) / 모두를 위한 머신러닝-딥러닝 강의 슬라이드1, 슬라이드2, 슬라이드3 / 비디오

📊 Lab1(Linear Regression) / 실습 코드 / 비디오

📢 1회차를 즐기셨거나 혹은 어려웠다면 피드백을 남겨주세요! / 피드백 설문

Lec2 (01/21, Mon)

Logistic Regression, Multi-Label Classification, Artificial Neural Network

<시작 전에 보면 좋은 자료들>

📑 Python Class를 잘 모르겠다 -> 점프 투 파이썬 - 클래스 편
📑 Python 자료형을 잘 모르겠다(tuple, dictionary, set 등) -> 점프 투 파이썬 - 자료형 편
📑 Numpy와 빠르게 익숙해지고 싶다 -> 김태완님 - Numpy CheatSheet
📑 다양한 변수들로 실험한 결과를 관리하고 시각화하고 싶다 -> 조재영 - Tox21 MLP

✏️ Lec2-A / 슬라이드 / 비디오

✏️ Lec2-B / 슬라이드 / 비디오

✏️ Lec2-C / 슬라이드 / 비디오

📊 Lab2(Pytorch Regression) / 실습 코드 / 비디오1, 비디오2

📊 Lab3(Pytorch Classification) / 실습 코드 / 비디오

🎓 Assignment1(Pytorch MNIST) / 시작 코드 / 설명 비디오 /
피드백 및 과제 제출용 설문 / (Due: 2019.01.23(Wed) 22:00)

📢 2회차를 즐기셨거나 혹은 어려웠다면 피드백을 남겨주세요! / 피드백 설문

Lec3 (01/24, Thur)

Model Capacity, Overfitting/Underfitting, Regularization

<시작 전에 보면 좋은 자료들>

📑 Train, Validation, Test 뭔가 헷갈린다?? -> About Train, Validation and Test Sets in Machine Learning
📑 Pandas 맛보기 -> 10 Minutes to Pandas
📑 실험 결과 로깅을 위한 json 파일 포맷 이해하기 -> JSON으로 작업하기
📑 matplotlib보다 더 쩌는 시각화 라이브러리 -> seaborn

✏️ Lec3-A / 슬라이드 / 비디오

✏️ Lec3-B / 슬라이드 / 비디오

✏️ Lec3-C / 슬라이드 / 비디오

✏️ Lec3-D / 슬라이드 / 비디오

✏️ Lec3-E / 슬라이드 / 비디오

📊 Lab4(Pretty Code) / 실습 코드 / 비디오

🎓 Assignment2(Cifar10 Hyperparameter Tuning) / 시작 코드 / 설명 비디오 /
피드백 및 과제 제출용 설문 / (Due: 2019.01.27(Sun) 22:00)

📢 3회차를 즐기셨거나 혹은 어려웠다면 피드백을 남겨주세요! / 피드백 설문

Lec4 (01/28, Mon)

Optimizer, Visualize 5 dimension Data with Pandas & Seaborn

✏️ Lec4-A(with Lab5) / 슬라이드 / 실습 코드 / 비디오

✏️ Lec4-B / 슬라이드 / 비디오

📊 Lab6 / 슬라이드 / 실습 코드 / 비디오

🎓 Assignment3(Again, Cifar10 Hyperparameter Tuning) / 시작 코드 /
피드백 및 과제 제출용 설문 / (Due: 2019.01.30(Wed) 22:00)

📢 4회차를 즐기셨거나 혹은 어려웠다면 피드백을 남겨주세요! / 피드백 설문

Lec5 (01/31, Thur)

Basic of Convolutional Neural Network (CNN)

✏️ Lec5-A (Review of assignment #3) / 과제 코드 / 비디오

✏️ Lec5-B / 슬라이드 / 비디오

📊 Lab7 / 실습 코드 / 비디오

🎓 Assignment4(CIFAR-10 classification with CNN) / 시작코드 / 피드백 및 과제 제출용 설문 / (Due: 2019.02.06(Wed) 22:00)

📢 5회차를 즐기셨거나 혹은 어려웠다면 피드백을 남겨주세요! / 피드백 설문

Lec6 (02/07, Thur)

Advanced CNN Architectures (Skip-connection, Inception, ResNet)

✏️ Lec6-A (Review of assignment #4) / 과제 코드 / 비디오

✏️ Lec6-B / 슬라이드 / 비디오

📊 Lab8 / 실습 코드 / 비디오

🎓 Assignment5(CIFAR-100 classification with ResNet) / 시작코드 / 피드백 및 과제 제출용 설문 / (Due: 2019.02.010(Sun) 22:00)

📢 6회차를 즐기셨거나 혹은 어려웠다면 피드백 남겨주세요! / 피드백 설문

Lec7 (02/11, Mon)

Basic of Recurrent Neural Network (RNN)

✏️ Lec7-A (Review of assignment #5) / 과제 코드 / 비디오

✏️ Lec7-B / 슬라이드 / 비디오

📊 Lab9 / 실습 코드 / 비디오

📢 7회차를 즐기셨거나 혹은 어려웠다면 피드백 남겨주세요! / 피드백 설문

Lec8 (02/14, Thur)

Advanced RNN Architectures (LSTM, GRU)

<시작 전에 보면 좋은 자료들>

📑 LSTM을 시각적으로 쉽게 이해하고 싶다면 -> Understanding LSTM Networks - Colah's Blog
📑 pytorch에서 나만의 데이터셋을 만들려면? -> Data Loading Tutorial - Pytorch Official Tutorial
📑 LSTM을 pytorch에서 정확하게 쓰려면? -> LSTM for time series in pytorch - Jessica's Blog

✏️ Lec8-A / 슬라이드 / 비디오

📊 Lab10 / 실습 코드 / 비디오

📢 8회차를 즐기셨거나 혹은 어려웠다면 피드백 남겨주세요! / 피드백 설문

Lec9 (02/18, Mon)

Basic of Graph Convolutional Network (GCN)

<시작 전에 보면 좋은 자료들>

📑 GCN을 찬찬히 제대로 다시 공부하고 싶다면? -> Graph Convolutional Networks - Thomas's Blog
📑 분자 데이터를 쉽게 다룰 수 있는 RDkit 라이브러리를 더 알고 싶다면? -> Practice RDkit - Seongok's Jupyter Notebook

✏️ Lec9-A / 슬라이드 / 비디오

📊 Lab11 / 실습 코드 / 비디오

📢 9회차를 즐기셨거나 혹은 어려웠다면 피드백 남겨주세요! / 피드백 설문

Lec10 (02/21, Thur)

Generative Model: VAE and GAN

<시작 전에 보면 좋은 자료들>

📑 Maximum Likelihood에 대해 궁금하다면? -> Probability vs Likelihood

✏️ Lec10-A / 슬라이드 / 비디오

✏️ Lec10-B / 슬라이드 / 비디오

✏️ Lec10-C / 슬라이드 / 비디오

📢 10회차를 즐기셨거나 혹은 어려웠다면 피드백 남겨주세요! / 피드백 설문

Course Review

저희 세미나와 함께 해주셨던 분들이 남겨주신 최종 피드백입니다.

어려운 내용도 쉽게 설명해주시려 했던점, 항상 매 강의마다 피드백을 받고 개선하시려던 모습, 어려운부분/궁금한 점은 없는지 한 학생 한학생 신경쓰시면서 수업 진행해주셔서 감사했습니다. 덕분에 딥러닝에 대해 자세히 공부할 수있는 시간이었고, 무엇보다도 가장 좋았던 것은 이론과 함께 실제 코드에서는 어떻게 사용되는지 실습까지 함께 이루어져서 좋았습니다. 한달동안 강사분들 너무 수고하셨어요~

-문화기술대학원 석사과정 수강생

혼자서 어떻게 딥러닝에 대해 알아야되나 고민을 했는데 해결이 조금 된것 같습니다. 좋은 강의 잘 들었습니다!

-생명과학과 석사과정 수강생

파이썬에 대한 기초 지식없이 수강 신청부터 해버려서 진도를 따라감에 있어서 다소 어려움이 있었으나 강의 자체는 많은 도움이 되었습니다. 감사합니다~

-기술경영학과 박사과정 수강생

강의하시느라 고생이 많으셨습니다. 중간부터는 제가 박사과정학생인 관계로 참석을 하지 못해서 죄송할 뿐입니다. 유익한 수업 덕분에 많은 것들을 배워갑니다.

-생명화학공학과 박사과정 수강생

수업 시간에 실습을 하는 수업을 처음 들어봤는데 장단점이 모두 있었습니다. 일단 코딩을 시작한지 얼마 안된 입장에서는 이미 완벽하게 짠 코드를 보고 할 때보다 코드 한줄 한줄이 어떤 순서로 왜 들어갔는지 이해하기 좋았고, 문제가 생겼을 때 디버깅/트러블슈팅을 어떻게 하는지 알 수 있어 특히 유용했습니다! 동시에 그만큼 코딩이 익숙하지 않은 사람은 후반부 수업에서는 '이미 프로그래밍을 어느 정도 해본 선생님들의 코딩 방식+오늘 배운 개념+이전에 짠 코드를 바탕으로 추가되는 모듈'을 따라가는 것이 조금 버겁게 느껴질 때가 있었네요. 하지만 좀 버거워도 지금 이렇게 수업을 듣고 코딩을 해본 것이, 당장은 이해가 안되도 매번 MNIST, CIFAR 같은 쉬운 데이터셋만 다루는 것보다 나중에 참고해서 공부하면 장기적으로 더 좋겠다는 생각도 듭니다! 이론 수업은 제가 이전에 몇 번 공부를 하기도 했고, 또 너무 수학적으로 치우치지 않으면서도 대충 용어만 설명하지 않고 도출 과정의 논리를 말씀해주셔서 알맞게 좋았습니다. 잠도 제대로 못자고 수업 준비 하고, 무려 라이브코딩과 과제리뷰(나중엔 거의 못냈지만 다 시도는 해보았습니다)까지 어마무시한 수업 준비하고 강의해주신 것 다시 한 번 정말 감사드립니다!

-문화기술대학원 석사과정 수강생

여건을 고려하면 아주 훌륭한 강의였습니다! 특히 두 분의 강의력에 매번 감탄하며 수업을 들었던 기억이 나네요 :) 현실적으로 가능하다면 추후에는 좀 더 다양한 real world problem case에 대해 실습을 진행하면 좋지 않을까 싶네요ㅎㅎ 덕분에 겨울방학을 보람차게 보낼 수 있었습니다. 강의 진행하신 두 분, 그리고 이 강의에 도움 주신 모든 분들께 감사드립니다☺️

-화학과 학사과정 수강생

코딩을 직접보고 어떻게 작성하는지 그 과정을 지켜보는 것도 흥미로왔고 짜여져 있는 코드를 내 상황에 맞는 변수로 수정해서 작동해 보며 프로그래밍에 훨씬 친숙해지는 계기가되어 좋았음 애쓰셨습니다.

-투자정보과 박사과정 수강생

만든이

조재영(Kevin Jo)^1,2,3, 김승수(SeungSu Kim)^1,2,3

¹ _{현재는 오토피디아에서 차량문제 해결 서비스, 닥터차를 만들고 있어요!}
² _{딩브로 주식회사}
³ _KAIST

오토피디아는 지금 채용 중!
> 포지션 살펴보기

standalone-deeplearning's People

Contributors

Stargazers

Watchers

Forkers

min-hyun merrychri25 niranajn006 kim-sunghoon suminhan dowhatuwant parang17 ndb796 jith0423 seanhtchoi daehyeon-han yonseiyj ylee1123 chjoo7 cathy-kim niccola7517 slowowl yebink hakjuknu genii01 danny-jang bongsang asphalt93 pathjwy sso0530 kimyujin96 doll6777 bbyun28 sangwoolee2 kisskys dharmogata jeonggunlee joyang93 karim76 minhyunku guguroha ryuncha jeenhyung zafkhan studymakim euiseokjeong isaacye thlee-kr jung21w nh-dev-soft bbiyongel briankim1027 steve-yj teddy309 youngjoo-kim lee7py choiys123 simonryu changjun6518 songwonie higuseonhye tenkacorn absf123 cgh2797 dream2globe gorogara jangwonpark74 njlee5098 innurman won0503 hong-sungwook pjus steven3126 joejiong micus lionking6792 dit-deep-learning ppuya1212 miyembe jongeunshin95 sangseoseo thorpham kimes0726 sml0399 seungwoo-han kimmeeso musicjae yuchaejung robin1203 kimsijin33 hongsgit76 fintecuriosity-lab aidward syigood wonhozhung comchem chameleon001 ahnjihyun sungminhan15 penil93 dev-ycy jsunguni frankie937 seyoung5744 jhbae159

standalone-deeplearning's Issues

구글 코랩에서 코드가 알록달록하지 않고 모두 검은색으로 나타나는 문제

김민현님께서 알려주신 현상인데요.
지금 Lab 코드들을 코랩에서 열어보면 다 검은 글씨로 떠서 가독성이 매우 매우 안좋습니다.

이럴 때 도구 -> 환경설정 -> 들여쓰기 너비 를 4-> 2로 바꿔주시면 해결됩니다!

제가 작업하는 환경이 기본 들여쓰기가 4로 되어 있어서 그런 것 같네요

acc가 0.0으로 고정되는 문제

Train & Evaluation 셀에서 acc 관련 문제입니다.

    correct = 0
    model.eval()
    optimizer.zero_grad()

    for input_X, true_y in test_loader:
        input_X = input_X.squeeze()
        input_X = input_X.view(-1, 784)
        pred_y = model(input_X).max(1, keepdim=True)[1].squeeze()
        correct += pred_y.eq(true_y).sum()

    print(correct.numpy(), len(test_loader.dataset))

    acc = correct.numpy() / len(test_loader.dataset)
    print(acc)
    list_acc.append(acc)
    list_acc_epoch.append(i)

Output :

(array(6235), 10000)
0
Epoch: 0, Train Loss: 1.1313279015, Val Loss: 1.2628234821, Test Acc: 0%
(array(5080), 10000)
0
Epoch: 1, Train Loss: 1.26448708956, Val Loss: 1.57953677902, Test Acc: 0%
(array(3074), 10000)
0
Epoch: 2, Train Loss: 1.55898885273, Val Loss: 1.82879043531, Test Acc: 0%
(array(2884), 10000)
0
Epoch: 3, Train Loss: 1.83698086543, Val Loss: 1.95342421833, Test Acc: 0%
...

와 같이 acc가 0이 아니어야 함에도 0이 나옵니다.
테스트를 위해

t = torch.Tensor([6235])
t.numpy() / 10000

를 실행한 경우 array([0.6235], dtype=float32) 이 출력되어 numpy.ndarray 나 torch.Tensor 자체의 문제로 보이지는 않습니다.

Lab11에서 rdkit package가 import 되지않습니다.

안녕하세요.
우선 GCN 강의를 잘 들었습니다. 좋은 강의를 제공해주셔서 감가합니다.

강의를 듣고 Lab11을 실습하고자 해서 실습자료를 이용하여 실습을 진행하는과정에서 radik package가 import되지않아, 진행하지 못하고있습니다.

ModuleNotFoundError Traceback (most recent call last)
in ()
6 import numpy as np
7
----> 8 from rdkit import Chem, DataStructs
9 from rdkit.Chem import AllChem
10 from rdkit.Chem.Crippen import MolLogP

ModuleNotFoundError: No module named 'rdkit'

해결해주신다면 감사하겠습니다.
감사합니다.

안녕하세요! 코드에 대한 질문 드립니다!

안녕하세요, 유튜브에 올려주신 수업 듣고 있는 학생입니다.

먼저 너무 쉽고 친절하게 잘 알려주셔서 처음 공부하는 학생인데도 불구하고 너무나 많은 도움이 되고 있습니다.
좋은 강의 올려주셔서 감사드립니다.

다름이 아니라, 유튜브에 올리신 #21.Lec을 보다가 질문이 몇개 있어서 질문드립니다!

dimension_check를 하실 때, 최종적으로 [2, 512, 1, 1]이 나와서 이것을 view를 이용하여 [2,512]로 바꾼 다음 최종 layer를 통과하면 [2, 10]이 된다고 하셨는데, 마지막을 10으로 만드는 것은 이해가 되는데 batch size로 표기되어있는 2는 마지막까지 왜 1로 사라지지 않고 남아 있는지가 궁금합니다. 그게 어떤 의미를 가지는 지를 잘 모르겠습니다.. (데이터를 다쓰고 나면 1이 되어야 할 것 같은데 ,,,)
최종 predicted한 10개의 y중 가장 높은 값을 가지는 index를 추출하고 label과의 비교를 통해 맞는지를 확인하셨는데, 기존 강의에서는 최종 predicted한 값에서 softmax를 취한 뒤에 가장 높은 index를 추출한다고 하셨던 것 같아서 질문 드립니다.
이 코드에서는 softmax가 빠진 것인가요?
추가질문 : 적다보니 궁금증이 생겼는데, softmax를 하던지 안하던지 결국 max 값이 우리가 predict한 label이 될 것 같은데, softmax를 쓰는 이유에 대해서 알려주실 수 있을까요? ㅠ
마찬가지로 질문을 드리다보니 추가적인 생긴 질문인데요 ,, 1번 질문에서 dimension_check를 할 때는 최종 [2 , 10] 이 되었는데, 코드를 다 짜고 마지막 돌려서 확인할 때는 또 [1, 10]이 된 것 같습니다(제가 제대로 확인한지는 모르겠습니다.. print로 확인해보니 [1,10] 인 것 같습니다.) 혹시 ... dimension이 최종적으로 [2, 10]이 되는 것이 맞는 것인가요 ? 아니면 [1 , 10]이 맞는 것인가요?

강의도 다 끝나고 바쁘실텐데 질문드려서 죄송합니다..
주변에 러닝하는 사람이 없어서 여쭤볼 것이 없어서 여기 남겨봅니다 ㅠ..

감사합니다!!

딥러닝 이미지 분류 관련 질문 있습니다

제가 지금 CIFAR-10 학습 데이터를 사용하고 있는데 학습 데이터셋 외에 다른 곳에서 가져온 이미지를 분류시켜 보고 싶습니다. 어떻게 하면 되는지 알려 주시면 감사드리겠습니다.
참고로 텐서플로우 + 파이참 사용 중입니다. 혹시나 해서..

어느 부분에서 어떤게 잘 안됩니다.

list_epoch = [] 
list_train_loss = []
list_val_loss = []
list_acc = []
list_acc_epoch = []


epoch = 4000 # 학습 횟수(epoch)을 지정해줍시다.
for i in range(epoch):

현재 뭘하기 위한 코드를 짜는 와중에 이 부분(몇번째 줄)에서 에러가 납니다.
제가 생각한 가능한 원인은 뭐뭐뭐에요. 도와주세요 ㅠㅠ

안녕하세요 코드관련 질문있습니다.

MLP문제 푸는 경우,

임의의 A1 B1 C1 세개의 값을 알고 있다고 했을 때, 이것을 1이라고 가정한다면,
A2 B2 C2 1
....
....
A100 A100 A100 36 으로 분류하는 데이터를 가지고 있습니다.

    총 36개로 분류 하고싶은 데이터가 있는데, 본 경우에는, MLP input output을 어떻게 설정 해줘야 하나요?

class MLPModel(nn.Module):
def init(self):
super(MLPModel, self).init()
self.linear1 = nn.Linear(in_features=3, out_features=200)
self.linear2 = nn.Linear(in_features=200, out_features=1)
self.relu = nn.ReLU()

def forward(self, x):
    x = self.linear1(x)
    x = self.relu(x)
    x = self.linear2(x)
    return x

1,2,3 의 예시만 들었지만, 답은 36개의 분류를 하고싶습니다.
test_X = torch.tensor([[ 6.229247765, 6.164917938, 42.46821876],
[ 6.318359321, 6.434637158, 41.73123234],
[ 5.919044792, 5.935551197, 40.34761768],
[ 5.932705898, 5.893793528, 40.39065692],
[ 6.215735091, 2.769788416, 18.15682191],
[ 6.356852727, 2.859113491, 18.87773254],
[ 6.455439504, 2.926123325, 19.15900978],
[ 6.380173194, 2.896036131, 18.18237821],
[ 6.514274085, 1.431469088, 9.764890137],
[ 6.582618314, 1.467246223, 9.654912427],
[ 6.308791584, 1.402158543, 9.573039555],
[ 6.505234242, 1.451120875, 9.285698667]])
test_Y = torch.tensor([ [0.0],[0.0],[0.0],[0.0],[1.0],[1.0],[1.0],[1.0],[2.0],[2.0],[2.0],[2.0] ])

zero_grad() 질문 있습니다.

epoch 당 zero_grad()를 한 번 사용하시던데요!
loss.backward()를 사용할 때마다 그 전에 zero_grad()를 해야 하는게 아닌가요??

과제 1 관련 질문 있습니다.

과제를 해보려 했는데 감이 잘 안잡힙니다.
일단
class LinearModel(nn.Module):
def init(self):
super(LinearModel, self).init()
self.linear = nn.Linear(in_features=784, out_features=10, bias=True)
self.hidden_unit = nn.Linear(in_features=784, out_features=10, bias=True)
self.hidden_layer = nn.Linear(in_features=784, out_features=10, bias=True)

def forward(self, x):
    x = self.linear(x)
    return x
    
def hidden(self, y, z):
    y = self.hidden_unit
    z = self.hidden_layer
    return y,z

이렇게 변수(?)를 만들어야 될 것 같애서 만들었는데요.
변수를 조정하는 방법을 잘 모르겠고요,
self.linear = nn.Linear(in_features=784, out_features=10, bias=True) 여기에서
괄호 안에 쓴 것들처럼
self.hidden_unit 도 써보려고 했는데 뭘 써야 하는지 잘 모르겠습니다.
torch.nn.modules.linear 라고 구글링을 해봤는데요, 무슨 말인지 몰라서 질문 올립니다~
혹시 방향 정도 조언을 해주실 수 있으신가요?

또, 제가 프로그래밍 기초 수업 외에는 프로그래밍 경험이 아예 없는데요,
어떤 부분을 더 공부 해야 하는지도 알려주실 수 있으신가요?

과제 2에서 코드 관련 질문 있습니다.

안녕하세요 수업 잘 듣고 있습니다.
과제를 하다가 궁금한 점이 있었는데 이제야 질문드립니다..!

cifar10 dataset에서 데이터를 확인하기 위한 부분에서 나온 코드입니다.
이 떄 img = img/ 2+0.5 부분이 unnormalize하는 것이라고 설명을 써두셨는데요,
애초에 데이터셋에서는 왜 저렇게 어둡게 normalize를 해둔 것일까요?
def imshow(img): img = img / 2 + 0.5 # unnormalize
이 부분은 experiment define하는 셀 중 train 부분인데, 5번째 줄에서 optimizer.zero_grad()가 나와서
epoch마다 gradient를 리셋하는 것은 알겠는데 맨 끝줄 training 중에는 왜 optimizer.zero_grad()가 나오는지 모르겠습니다.

    # ==== Train ===== #
    net.train()
    optimizer.zero_grad()
    
    running_loss = 0.0
    train_loss = 0.0

    for i, data in enumerate(trainloader, 0):
        # get the inputs
        inputs, labels = data
        inputs = inputs.view(-1, 3072)
        
        inputs = inputs.cuda()
        labels = labels.cuda()
        

        # zero the parameter gradients
        optimizer.zero_grad() ###

한 슬라이드로 여러 결과를 비교하는 방법?

5번 Report Experiment 셀에서 도표를 그릴 수 있는데, 다양한 learning rate와 epoch, hidden layer로 실험해본 결과들을 한꺼번에 나열해서 쉽게 비교할 수 있게 해보고 싶습니다.

4, 5 번 코드 셀을 복붙해서 학습하는 여러 개의 코드를 짜는 건 너무 비효율적인 방법같고, 조금 더 효율적인 방법이 있을 것 같은데 어떻게 해야할 지 모르겠어서 여쭤봅니다.

일단 제 짧은 견해로는 캡처 도구를 이용해 매 실험마다 캡처해서(아래와 같이) 마지막에 사진을 다량 첨부하는 방법이 생각났는데, 혹시 더 좋은 방법이 있다면 알려주세용...

단순히 구글에 이렇게 검색해봐라 라고 알려주셔도 될 것 같습니다 !

Recommend Projects

React

A declarative, efficient, and flexible JavaScript library for building user interfaces.
Vue.js

🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
Typescript

TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
TensorFlow

An Open Source Machine Learning Framework for Everyone
Django

The Web framework for perfectionists with deadlines.
Laravel

A PHP framework for web artisans
D3

Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

javascript

JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
web

Some thing interesting about web. New door for the world.
server

A server is a program made to process requests and deliver data to clients.
Machine learning

Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Visualization

Some thing interesting about visualization, use data art
Game

Some thing interesting about game, make everyone happy.

Recommend Org

Facebook

We are working to build community through open source technology. NB: members must have two-factor auth.
Microsoft

Open source projects and samples from Microsoft.
Google

Google ❤️ Open Source for everyone.
Alibaba

Alibaba Open Source for everyone
D3

Data-Driven Documents codes.
Tencent

China tencent open source team.

heartcored98 / standalone-deeplearning Goto Github PK

standalone-deeplearning's Introduction

이 저장소를 활용하시는 모든 분들께 알리는 중요 공지사항 (2021.01.05)

Standalone-DeepLearning

Contents

Lec1 (01/17, Thur)

Lec2 (01/21, Mon)

Lec3 (01/24, Thur)

Lec4 (01/28, Mon)

Lec5 (01/31, Thur)

Lec6 (02/07, Thur)

Lec7 (02/11, Mon)

Lec8 (02/14, Thur)

Lec9 (02/18, Mon)

Lec10 (02/21, Thur)

Course Review

만든이

standalone-deeplearning's People

Contributors

Stargazers

Watchers

Forkers

standalone-deeplearning's Issues

Recommend Projects

Recommend Topics

Recommend Org