josircg / twitsearch Goto Github PK
View Code? Open in Web Editor NEWBusca e Análise de Opiniões a partir da rede do Twitter
Busca e Análise de Opiniões a partir da rede do Twitter
Para as instalações onde existe uma base de Tweets no ElasticSearch, criar um crawler para realizar a busca através do Elastic e não pela API.
Além dos Retweets, uma métrica interessante são as menções. É um usuário chamando a atenção do outro, seja para provocar negativamente o usuário ou para alertar o usuário de algo que lhe diz respeito. Registrar quem mencionou determinado usuário pode trazer um rede diferente da rede de retweets.
Criar estrutura Mentions indicando o tweet original e o usuário que foi mencionado.
Como o mecanismo de busca interpreta diferentemente o filtro e o stream, o usuário deve ter uma opção de fazer ou não a busca por stream. Na verdade, a carga via stream deve ser feita apenas para projetos que tem um volume muito grande e pontual.
Assim, vamos diferenciar a importação via stream e via filtro normal.
Incorporar a rotina de getoldtweets na biblioteca.
Permitir gravar o posicionamento geográfico dos tweets de um projeto no Visão IBICT (visao.ibict.br):
A estrutura do resumo dos tweets deve conter Municipio, Peso dos Tweets onde o peso é a soma dos pesos individuais de cada tweet. O peso de um Tweet é número de "likes" + 3 * número de retweets.
Pensar também em mapas de densidade: onde o número de seguidores de um único retweeter faz com que aquele retweet tenha uma "massa" maior que outros retweets.
https://www.researchgate.net/publication/321325289_Scaling_laws_in_geo-located_Twitter_data
Montar uma nuvem de hashtags de um determinado projeto
Algumas pesquisas qualitativas estão interessadas apenas no tweet original e não nas interações. Assim, é interessante criar uma opção no projeto para não importar os retweets, menções e replies.
Criar opção no projeto (ou no termo?)
Ao executar o crawler, incluir as opções "-is:retweet -is:reply -is:quote"
Quando o usuário seleciona um filtro por Projeto na tela do Admin, ele continua mostrando todos os termos. O correto é só mostrar os Termos associados ao projeto selecionado no filtro anterior.
Incluir na tela de Estatísticas um mapa de calor tendo como eixo X os dias e no eixo Y as horas.
Não é necessário gravar a mensagem inteira de um retweet. Nova estrutura Retweet que irá registrar apenas o tweet original, o usuário que fez retweet e o momento (caso se queira no futuro ver a velocidade como a mensagem original ganhou retweets).
Hoje, um usuários podem visualizar os projetos de qualquer outro usuário. Temos que criar uma restrição no Admin para que o usuário só veja os projetos de usuários que façam parte do seu mesmo grupo.
A única exceção é o super user que pode visualizar todos os projetos.
Assim as tarefas são:
Muitas vezes, um tweet é capturado mas nem todos os seus retweets vem na busca. Assim, deve existir uma rotina parela que busca todos os usuários que retweetaram caso o número de retweets capturados na busca seja menor que o número indicado no tweet.
A rotina irá rodar em background da mesma forma que o crawler e o import.
Rotina para buscar na base de dados tweets orfãos a partir de um determinado termo. A rotina será chamada via thread sempre que um termo for incluído ou alterado.
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.