For example,

https://pytorch.org/docs/stable/torchvision/datasets.html#torchvision.datasets.MNIST

https://pytorch.org/docs/stable/torchvision/datasets.html?highlight=cifar10#torchvision.datasets.CIFAR10

1. preOp->Pop(out)
   preOp 포인터를 사용해서 m_apOutput이 가리키는 배열과 같은 것을 가리키도 있는 것으로 이해했습니다. (배열의 복사가 아닌 주소값을 가져오는 것으로 이해했습니다.) 그렇게 된다면 preOp->Pop(out)을 하면 preOp 가리키고있는 m_apOutput배열에서 out에 해당하는 Operator와의 연결을 끊는 것으로 해석이 됩니다. 이렇게 그래프의 구조를 바뀌는 것이 맞나요?...
2. this->AnalyzeGraph(out)
   my_CNN에 있는 ConvolutionLayer2D class와 Linear class에서 각각 Alloc에서 this->AnalyzeGraph(out)을 호출하는 것으로 확인 했습니다.
   근데 my_CNN에서 맨 마지막에 AnalyzeGraph(out)을 호출합니다. 제가 이해한것은 각각의 class에서 analyzeGraph를 호출한 것은 큰 의미가 없고 my_CNN class에서 맨 마지막에 AnalyzeGraph(out)만 의미가 있으면 이때 정해지는 m_aaExcutableOperator와 m_apParameter 배열을 사용해서 학습하는게 맞나요???

:>

• [need algorithm with padding]

AS you know.....

GAN tutorials

1. Add modules to make directories where generated images are saved
2. Modifying image generating codes
3. Debug the module works in CPU mode

RNN 구현관련 질문을 남깁니다.
먼저 my_CNN과 ConvolutionLayer2D을 비교하면서 RNN을 생각해보았습니다.

이와 마찬가지로 NeuralNetwork를 상속하는 my_RNN과 Module을 상속하는 RNNLayer를 만들 생각입니다.

근데 RNN 계산을 해주는 Operator가 필요한지에 대한 의견이 모이지 않아 이렇게 남깁니다.

1. Without RNN operator
   사실 RNN 구현에 필요한 operator인 tanh와 MatMul이 이미 있기때문에 RNNLayer에서
   

   WICWIU/WICWIU_src/Module/ConvolutionLayer.hpp

   Line 82 in 9a60b8c

   Tensorholder<DTYPE> *pWeight = new Tensorholder<DTYPE>(Tensor<DTYPE>::Random_normal(1, pNumOutputChannel, pNumInputChannel, pNumKernelRow, pNumKernelCol, 0.0, stddev), "Convolution2D_Weight_" + pName);

   
   위와 같이 Tensorholder를 만들어서 필요한 연산만 하면 됩니다. 이렇게 구현이 가능하다는 의견입니다.

2. With RNN Operator
   MatMul과 tanh를 다 모아서 RNN 연산을 한번에 해주는 Operator를 만들자는 의견입니다.
   이 의견이 나온 가장 큰 이유는 cudnn입니다. cudnn 코드를 추가하기 위해서는 Operator에 있는 forward와 backward 함수가 필요하기 때문입니다.

2번째 안건입니다.
NeuralNetwork 단위를 1번으로 할지 2번으로 할지 문의 드립니다.

comment 남겨주시면 감사하겠습니다

Implement GAN as two Neural Network sharing one parameter (with shallow copy of the network).
The prototype model has difficulties to handle various optimizing methods.

Hello.

I think, The following line 40/204 of Operator.cpp need va_end().

Because the va_end (ap) code outside the for is not executed by the return statement.

what do you think?

Thanks.

I think it is good that subdirectories of 'tutorials' directory are rearranged.

Now,
Dataset
..┗ Model
........┗ Network
To,
Model
..┗ Network
........┗ Dataset

There are a lot of error in 'triplet branch' which has LFW. Please do not use that branch

I don't know the meaning of line 118 & 120 in 'TripletLoss.hpp'
Please let me knowㅠㅠ

Why can't I access the 'Trian' function by 's'?

cgdb로 segmentation fault 잡으려고 하는데, 정확히 에러 나는 부분이 어디인지 확인하고 싶은데 s눌러도 함수 안으로 못 들어가네요.. 혹시 아시는 분 계신가요?

with multi thread
with Image Reader
with Text file Reader

need

low learning rates avoid producing nan
0.04 -> 0.004

WICWIU massively uses stdout to print log when executing programs.
However, this method usually considered inefficient way.
So, please consider the logger library to write a log in the future.

위에서 정의되는 m_pTenBias와 m_pTenScale은 Save() 함수를 불렀을 때 저장되고, Load() 함수를 불렀을 때 복구되어야 합니다.

현재 코드는 이를 지원하지 않고 있으며, 아마 Save 함수를 따로 상속받아야 할 것으로 생각됩니다.