Comments (6)
@pbcquoc Mình có 1 thắc mắc là điểm khác nhau của batch['tgt_input'] và batch['tgt_output'] là gì? theo mình hiểu thì input đã được dịch về bên phải 1 kí sự so với output có thêm
mình thấy là input khá khác so với output khi mà có thêm 1 vài kí tự * - mask_token không biết mục đích của bạn là gì ?
from vietocr.
Mình có 1 chút thắc mắc về xử lý target trong vietocr
- Trong vocab.py có 1 biến là self.mask_token không biết biến đấy có ý nghĩa là gì, mình có thể hiểu là giá trị unknown trong vocab không ?
- Target được feed vào transformer có fix_length hay không ?
- Nếu fix length thì len của hàm len sẽ là max_length+2 thay vì là +4
Một số thắc mắc của bạn mình giải thích như sau nhé
- mask token là khi huấn luyện chúng ta sẽ random che đi kí tự bất ký khi input vào decoder transformer, giúp mô hình học language model
- không fix len và được padding để các câu trong mỗi batch có chiều dài bằng nhau
- len đó là số ký tự của tập vocab thôi, ko phải là chiều dài của câu
from vietocr.
@pbcquoc Mình có 1 thắc mắc là điểm khác nhau của batch['tgt_input'] và batch['tgt_output'] là gì? theo mình hiểu thì input đã được dịch về bên phải 1 kí sự so với output có thêm
mình thấy là input khá khác so với output khi mà có thêm 1 vài kí tự * - mask_token không biết mục đích của bạn là gì ?
chuẩn rồi nhé bạn.
from vietocr.
@pbcquoc mình muốn hỏi thêm 1 chuts:
- 'tgt_padding_mask' có ý nghĩa gì khi training. nếu mình chỉ dùng decoder của transformer thay vì dùng cả encoder và decoder như bạn thì có cần thiết phải dùng key này không vì mình hiểu là decoder chỉ cần dùng mask ma trận vuông tam giác chéo để mask target.
- tgt_input và tgt_output như này là dịch trái hay dịch phải
from vietocr.
@pbcquoc mình muốn hỏi thêm 1 chuts:
- 'tgt_padding_mask' có ý nghĩa gì khi training. nếu mình chỉ dùng decoder của transformer thay vì dùng cả encoder và decoder như bạn thì có cần thiết phải dùng key này không vì mình hiểu là decoder chỉ cần dùng mask ma trận vuông tam giác chéo để mask target.
- tgt_input và tgt_output như này là dịch trái hay dịch phải
- tgt_padding_mask cho biết kí tự nào là kí tự padding, do đó thì rất cần thiết để mô hình phân biệt được kí tự nào là kí tự thật sự, kí tự nào là padding do mình tự thêm vào để kích thước bằng nhau trong cùng 1 batch.
- tgt_input bỏ đi kí tự đầu tiên thì ra tgt_output nha bạn :))
from vietocr.
@pbcquoc i got it. Cảm ơn bạn :v
from vietocr.
Related Issues (20)
- Error: train_hw: There is not enough space on the disk.
- Can we train VietOCR model for Japanese language ? HOT 2
- AttributeError: 'Delaunay' object has no attribute 'vertices' HOT 5
- lỗi load config HOT 1
- Có vấn đề khi sử dụng batch predict. HOT 1
- TypeError: 'Predictor' object is not callable
- Lỗi khi training custom dataset HOT 1
- Lỗi không chạy được sau khi cài HOT 4
- Predict trên 1 dataset lớn HOT 1
- Valid loss lớn hơn Training loss HOT 1
- Remove n invalid images HOT 2
- New PIL not AttributeError: module 'PIL.Image' has no attribute 'ANTIALIAS' HOT 6
- Load dataset HOT 6
- Augmentation Issues HOT 1
- Có thể giới hạn được các kí tự đầu ra không?
- Chào a, cảm ơn a vì đã đóng góp sản phẩm này cho cộng đồng,
- Thắc mắc về đầu vào Image, Acc per char HOT 1
- Can not create dataset on Jupyter Notebook because of [tab] definition HOT 2
- Getting error after train
- Lỗi khi load model seq2seq trên cuda12
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from vietocr.