• https://vaex.io/docs/index.html
• https://github.com/modin-project/modin
• https://github.com/pola-rs/polars/

Using https://pdpipe.readthedocs.io/en/latest/ or https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.pipe.html

Le but de cette tâche est de mettre à jour le prompt du programme en se absant sur les mauvaises réponses du chat ainsi que les attaques dans langsmith
https://www.loom.com/share/cd1dfee495814db09c313357ad2282ae

Stats avec https://mljar.com/blog/how-to-use-jupyter-notebook/

https://www.fast.ai/2022/08/25/jupyter-git/

Les associations camerounaises sont celles qui contiennent le mot CAMEROUN dans la description ou le titre en utilisant le RNA.

https://www.data.gouv.fr/fr/datasets/repertoire-national-des-associations
https://api.gouv.fr/les-api/api_rna
https://github.com/etalab/rna_as_api

Documentation: https://media.interieur.gouv.fr/rna/RNA_Liste_donnees_diffusees-V2.pdf

https://github.com/databricks/koalas

La moitié des associations dans le RNA sont mortes: https://halshs.archives-ouvertes.fr/halshs-00564879/document

Les options

• avec machine learning ( créant u prompt engineering ?) mais opeanAI va couer trop cher ( faire autrement)
• avec la liste de toutes les villes liés au cameroun et en les répérant
• faire de l'identity POS ( Part of Speech Tagging) et sur le le lieu faire l'encrichissment au pays machine learning

Utiliser # %% dans le code
utliser _i

Exemple: https://www.parceltinyhouse.com/
https://developers.facebook.com/docs/messenger-platform/discovery/facebook-chat-plugin/

https://github.com/PacktPublishing/Data-Engineering-with-Python/tree/master/Chapter07
I have the epub file

Leur page: https://ucetranger.org/annuaires-des-associations-camerounaises-en-france/
Ajouté la mention enregstré au consulat du cameroun à Marseille

https://www.doppler.com/ ?

Multiples ways of solving:

• Use https://github.com/jerryjliu/gpt_index & https://github.com/hwchase17/langchain ( example https://github.com/arc53/DocsGPT ) . Pour le chargement utilisez un loader https://llamahub.ai/l/file-simple_csv ?
• Supabase Clippy: ChatGPT for Supabase Docs: https://supabase.com/blog/chatgpt-supabase-docs
• Use aista https://aista.hashnode.dev/open-source-chatgpt-based-bing-search-launched
• Use haystack https://github.com/deepset-ai/haystack
• Use Hugging face https://github.com/huggingface/transformers ?
• API de chatgpt ( released on March 2th https://platform.openai.com/docs/guides/chat )
• The smallest possible LLM API : https://github.com/tomdyson/microllama
• OpenAI ChatGPT plugin: https://github.com/openai/chatgpt-retrieval-plugin
• Llama : https://github.com/ggerganov/llama.cpp

Parcourir la documentation des 3 outils choisis afin de dresser une liste de fonctionnalités offertes.

Mise en place de la logique avec Github CI

Vidéo montrant le problème: https://peertube.stream/w/4RH7HNySMBcKdz9vvBm6Mo

Cela semble lié à /api qui retourne pas pareil selon qu'on vienne de tchoung-te ou mongulu.gogocarto. Par exemple si l'on cherche via l'api isère:

• Avec https://mongulu.gogocarto.fr/api/elements/search?text=is%C3%A8re on a des résultas
• En revanche avec https://tchoung-te.mongulu.cm/api/elements/search?text=is%C3%A8re on a rien

Pb à résoudre avant l'annonce officielle de la v2

Deploy the website with https://registry.terraform.io/modules/cloudmaniac/static-website/aws/0.9.2

En utilisant pyolide comme https://github.com/simonw/datasette-lite avec https://github.com/pyscript/pyscript

https://docs.python.org/3/library/textwrap.html#textwrap.dedent
https://github.com/wolfgarbe/SymSpell
https://github.com/jfilter/clean-text
https://ftfy.readthedocs.io/en/v6.0/
https://github.com/maxbachmann/RapidFuzz

Objectif: Afficher toutes les assos comme des points sur la carte avec les métadonnées essentielles quand on clique et filtrer par typologie et département/région.

Utiliser la source de donnée : https://data.opendatasoft.com/explore/dataset/ref-france-association-repertoire-national%40public/export/?q=cameroun&location=10,46.90618,-0.59395&basemap=jawg.streets

Download le zip et utilisez https://github.com/jupyterlite/jupyterlite ou https://binderhub.readthedocs.io/en/latest/

par exemple synergie kmer

https://github.com/openvenues/libpostal

https://github.com/simonw/datasette

automatically fetch update from arn file using argo worflow

Commencer par les réseaux sociaux: Twitter, Instagram, Linkedin, Facebook

This allows to have in the browser tchoung-te.mongulu.cm always instead of mongulu.gogocarto.fr after the visit.
This will allow thcoung-te to be a brand instead of just a redirection.

https://github.com/kevinzg/facebook-scraper
https://github.com/snarfed/granary
https://github.com/brutalsavage/facebook-post-scraper

https://netflixtechblog.com/notebook-innovation-591ee3221233 ?

https://github.com/krrishdholakia/betterprompt
currently is 2.4204210742596052e-09

Les premières tâches à réaliser sont contenus ici: #2 (comment)

Les nouveaux à champ à ajouter seront: site web ( le récupérer du RNA pour ceux qui en ont ) , Numéro de téléphone, adresse email, page facebook, Groupe whatsapp, le logo.

• La phase 1 consistera à essayer de récupérer au maximum ces informations sur internet avec de sources comme:
  - HelloAsso
  - Google via searx pour trouver l'association sur facebook
  - Rajouter le lien vers l'historique de l'association à partir du RNA via JOAFFE ou https://assoce.fr

• La phase 2 consitera à la qualification de ces données par nous-même en exploitant des outils tel que tablerow

• La phase 3 consistera à merger ces informations avec le code existant

• La phase 4 consistera à activer sur Gogocarto ( en créant une carte de test) la possibilité de modification et savoir comment modérer ces informations

Créer un prompt openai et l'utiliser

Le but de cette tâche est de pouvoir répondre aux questions qui nécessitent de faire un calcul sur les données par exemple: combien d'associations en isère ? au lieu de renvoyer sur https://tchoung-te.mongulu.cm

Use langchain:

• https://python.langchain.com/docs/integrations/toolkits/csv

Using llamaindex

• Video: https://www.youtube.com/watch?v=3J83aygkbX0 (Google colab: https://colab.research.google.com/drive/1JvkjcpC2j4cGH0AvbXBpylgtf1xWiSpV?usp=sharing#scrollTo=mLX-R-0D0oi4 )

There is no architecture diagram in the description.

L'utilisation de pandas en lieu et place de pyspark a fait fait remonter le fait que la casse était prise en compte dans le filtrage des associations. Du coup le nombre d'associations à doubler. Le but de cette tâche c'est de réenrichier avec des liens qualifiés facebook et/ouhello oasso les associations restantes. La tâche consiste donc à:

• - Ré-executer le fichier etl/enrich_xxx.ipynb uniquement sur les nouvelles associations ( pas présente dans enrich-qualified)
• - Envoyer cette liste à un service style Fiverr/Upwork pour qu'ils la qualifient et ajoutent les élements s'ils existent
• - Merger les 2 liste enrichies

due to issue with mysql. Need to check
To help https://www.metabase.com/docs/latest/databases/connections/mysql

Contraintes:

• Accessible en ligne
• Utilisation d'un outil opensource si possible ( possible ultérieurement)

• Using vector databse: https://github.com/qdrant/qdrant | pgvector with postgres
• Using faiss & openai embediing like in simon article with datasette: https://simonwillison.net/2023/Jan/13/semantic-search-answers/
• https://github.com/neuml/txtai | https://github.com/flairNLP/flair
• https://github.com/jina-ai/jina

Comme ça pouvoir le guider & discuter.

S'aider de https://www.manning.com/books/fast-python?trk_msg=IFUPDJLABII4R5OVI6G8R4QCCO&trk_contact=DFQVG868N8R8DDR5K4JB3U354G&trk_sid=M1MICTHGK003IJJ9JR5NA4HQ60&trk_link=P5R4N8JIPKU4781B0JENSJ855O&utm_source=Listrak&utm_medium=Email&utm_term=https%3a%2f%2fwww.manning.com%2fbooks%2ffast-python&utm_campaign=Two+together!+Buy+one%2c+get+one+free+this+Valentine%e2%80%99s+Day en le checkant sur zlib