academia-de-dados / crawlers Goto Github PK

Solicitação de recurso

Descrição do recurso

Estudar qual banco de dados resolve o problema do armazenamento dos dados pelo crawler

Sua solicitação de recurso está relacionada a um problema?

Você tem alguma sugestão sobre como adicionar esse recurso no projeto?

Verificar se será melhor usar um ORM (SQLAlchemy ou SQLModel) ou um ODM (Mongoengine ou ODMantic) (talvez seja melhor usar um banco NoSQL (Not only SQL) para o caso de haver questões de multipla escolha ou dissertativa).

Solicitação de recurso

Descrição do recurso

Criar evento para salvar os dados no formato do back-end.

Sua solicitação de recurso está relacionada a um problema?

Você tem alguma sugestão sobre como adicionar esse recurso no projeto?

A ideia seria publicar um evento para processamento e transformação dos dados.
Talvez usar o RabbitMQ ou SQS.

• Verificar se há uma api do inep para pegar as provas e os gabaritos.
• Adicionar estrutura do projeto com o scrapy.
• Verificar se será melhor usar um ORM ou um ODM (talvez seja melhor no caso de haver questões de multipla escolha ou dissertativa).
• Criar Modelos para as:
  • Matérias, como: Biologia, Matemática, etc
  • Questões
  • Alternativas

Solicitação de recurso

Descrição do recurso

Verificar se há uma api do inep para pegar as provas e os gabaritos.

Sua solicitação de recurso está relacionada a um problema?

Você tem alguma sugestão sobre como adicionar esse recurso no projeto?

Talvez a forma de pegar essas informações seja via scraping do site inep

Solicitação de recurso

Descrição do recurso

Adiciona configuração do gitpod para desenvolver o projeto

Sua solicitação de recurso está relacionada a um problema?

Você tem alguma sugestão sobre como adicionar esse recurso no projeto?

Ver a documentação do gitpod para mais informações