Shows
Daily Paper CastCamemBERT 2.0: A Smarter French Language Model Aged to Perfection
🤗 Paper Upvotes: 8 | cs.CL
Authors:
Wissam Antoun, Francis Kulumba, Rian Touchent, Éric de la Clergerie, Benoît Sagot, Djamé Seddah
Title:
CamemBERT 2.0: A Smarter French Language Model Aged to Perfection
Arxiv:
http://arxiv.org/abs/2411.08868v1
Abstract:
French language models, such as CamemBERT, have been widely adopted across industries for natural language processing (NLP) tasks, with models like CamemBERT seeing over 4 million downloads per month. However, these models face challenges due to temporal concept drift, where outdated training data leads to a decline in performance, especially when encoun...2024-11-1524 min
Informatique et sciences numériques (2023-2024) - Benoît SagotSéminaire : L'IA axée sur les objectifs : vers des machines capables d'apprendre, de raisonner et de planifierCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : L'IA axée sur les objectifs : vers des machines capables d'apprendre, de raisonner et de planifierIntervenant : Yann LeCun, Professeur invité, Collège de France, Chief AI Scientist, Meta, Professor, NYURésuméComment les machines pourraient-elles apprendre aussi efficacement que les humains et les animaux ? Comment les machines pourraient-elles apprendre le fonctionnement du monde et acquérir le sens commun...2024-02-091h 14Informatique et sciences numériques (2023-2024) - Benoît Sagot08 - Apprendre les langues aux machines : Multimodalités : TAL et images, TAL et paroleCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202408 - Apprendre les langues aux machines : Multimodalités : TAL et images, TAL et paroleRésuméMultimodalité : TAL et images, TAL et parole. Améliorer la traduction automatique grâce au contexte, notamment aux images. Le TAL sans l'écrit : réconcilier TAL et traitement de la parole, avec l'exemple de la traduction automatique de la parole.2024-02-0957 minInformatique et sciences numériques (2023-2024) - Benoît SagotSéminaire : Prédire c'est comprendre : un modèle neuro-cognitif du langage fondé sur la prédictionCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : Prédire c'est comprendre : un modèle neuro-cognitif du langage fondé sur la prédictionIntervenant : Philippe Blache, directeur de recherche CNRSRésuméLa compréhension mutuelle pendant une conversation est un processus extrêmement rapide et efficace : nous pouvons traiter trois mots par seconde, souvent plus. Cette observation n'est cependant pas conforme aux expériences de laboratoire montrant que l...2024-02-0257 minInformatique et sciences numériques (2023-2024) - Benoît Sagot07 - Apprendre les langues aux machines : Converser avec la machineCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202407 - Apprendre les langues aux machines : Converser avec la machineRésuméAgents conversationnels, chatbots et « large language models » conversationnels : d'Eliza à ChatGPT et ChatLLAMA. Comment les très grands modèles conversationnels ont-ils été entraînés ? Quelles limites, quels enjeux éthiques, quelles utilisations, quel avenir ?2024-02-0257 minInformatique et sciences numériques (2023-2024) - Benoît SagotSéminaire : Analyse automatique de l'argumentation dans les débats politiquesCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : Analyse automatique de l'argumentation dans les débats politiquesIntervenant : Elena Cabrio, professeur des Universités, université Côte-d'Azur, Inria, CNRS, I3S, FranceRésuméLes débats politiques offrent aux citoyens une occasion unique d'apprécier la position des représentants politiques sur les sujets les plus controversés de l'actualité. Au regard des prises actives de paroles des diff...2024-01-2653 minInformatique et sciences numériques (2023-2024) - Benoît Sagot06 - Apprendre les langues aux machines : Linguistique computationnelleCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202406 - Apprendre les langues aux machines : Linguistique computationnelleRésuméLe TAL au service de la linguistique, avec un bref détour par les applications du TAL au service des humanités et sciences sociales. La linguistique comme domaine d'application du TAL, en trois exemples : morphologie computationnelle et complexité morphologique ; approches informatiques de la linguistique historique et de la phylogénétique linguistique ; scriptométrie quantitative...2024-01-2656 minInformatique et sciences numériques (2023-2024) - Benoît SagotSéminaire : Génération de texte à partir de connaissancesCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : Génération de texte à partir de connaissancesIntervenant :Claire Gardent, directrice de recherche CNRSRésuméLa génération de texte peut cibler différents types de langues et prendre en entrée différents types de connaissances. Dans cette présentation, je montrerai comment adapter les modèles de langue neuronaux pour générer du texte à part...2024-01-1956 minInformatique et sciences numériques (2023-2024) - Benoît Sagot05 - Apprendre les langues aux machines : Approches neuronales pour quelques tâches applicativesCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202405 - Apprendre les langues aux machines : Approches neuronales pour quelques tâches applicativesRésuméQuelques autres tâches aval : reconnaissance d'entités nommées ; analyse syntaxique ; la classification de phrases : approches classiques, embeddings de phrases ; la simplification de textes.2024-01-1958 minInformatique et sciences numériques (2023-2024) - Benoît SagotSéminaire : Traduction neuronale massivement multilingueCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : Traduction neuronale massivement multilingueIntervenant :François Yvon, directeur de recherche CNRSRésuméLe développement d'architectures exploitant les méthodes d'apprentissage neuronal « profond » en traduction automatique a conduit à une augmentation considérable de l'acceptabilité et de l'utilisabilité des traductions calculées par la machine. Ces nouvelles architectures ont également permis de mettre en œuvre des dispositifs de trad...2024-01-121h 01Informatique et sciences numériques (2023-2024) - Benoît Sagot04 - Apprendre les langues aux machines : Traduction automatiqueCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202404 - Apprendre les langues aux machines : Traduction automatiqueRésuméHistoire de la discipline, approches récentes. Enjeux actuels : couvrir les langues moins dotées ; prendre en compte le contexte ; être robuste à la variation linguistique.2024-01-1258 minInformatique et sciences numériques (2023-2024) - Benoît SagotSéminaire : Apprendre un modèle de langue à partir de l'audioCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : Apprendre un modèle de langue à partir de l'audioIntervenant :Emmanuel Dupoux, directeur d'études EHESS, chercheur METARésuméLa modalité orale est le canal le plus naturel pour les interactions linguistiques, mais les technologies langagières actuelles (TAL) se basent surtout sur l'écrit, nécessitant de grandes quantités de textes pour développer des modèles de l...2023-12-2854 minInformatique et sciences numériques (2023-2024) - Benoît Sagot03 - Apprendre les langues aux machines : Modèles de langueCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202403 - Apprendre les langues aux machines : Modèles de langueRésuméLes modèles de langue, une direction de recherche indépendante de la représentation vectorielle pendant l'ère préneuronale. Leur évolution récente et leur rencontre, jusqu'aux modèles de langue contextuels neuronaux. Les architectures récurrentes (y compris les LSTM) et l'architecture Transformer. Les modèles de langues neuronaux : modèles par masquage...2023-12-2259 minInformatique et sciences numériques (2023-2024) - Benoît SagotSéminaire : Deux exemples d'usage des transducteurs en linguistiqueCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : Deux exemples d'usage des transducteurs en linguistiqueIntervenant :Guillaume Jacques, directeur de recherche, CNRS, directeur d'étude, EPHERésuméLes transducteurs sont un outil précieux pour plusieurs domaines distincts de la linguistique. En morphologie, ils permettent de produire des descriptions explicites et cohérentes des paradigmes morphologiques, aussi bien pour les langues bien dotées que pour le...2023-12-1543 minInformatique et sciences numériques (2023-2024) - Benoît Sagot02 - Apprendre les langues aux machines : Approches symboliques et probabilistesCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202402 - Apprendre les langues aux machines : Approches symboliques et probabilistesRésuméL'étiquetage en parties du discours (des n-grams à la régression logistique) et la lemmatisation. Présentation de certaines classes de grammaires faiblement contextuelles pour la modélisation et l'analyse syntaxiques. Algorithmes d'analyse syntaxique pour le TAL. Interaction avec l'analyse de surface, y compris l'analyse morphologique. Le rôle des ressources lexicales. La place de l'a...2023-12-151h 01Informatique et sciences numériques (2023-2024) - Benoît SagotSéminaire : Quelques exemples d'application du TAL aux humanités numériquesCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : Quelques exemples d'application du TAL aux humanités numériquesIntervenants :Daniel Stoekl Ben Ezra, directeur d'études, EPHE-PSLJean-Baptiste Camps, maître de conférences, École nationale des chartes, Université PSRésuméTraitement automatique des langues et sciences humaines computationnelles : l'intelligence artificielle au service du passéCette intervention présentera des cas...2023-12-0854 minInformatique et sciences numériques (2023-2024) - Benoît Sagot01 - Apprendre les langues aux machines : Représenter les unités textuellesCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202401 - Apprendre les langues aux machines : Représenter les unités textuellesRésuméLes niveaux d'analyse linguistique. Phrases et mots. La loi de Zipf. Quelles représentations pour les mots (voire les phrases), quelles propriétés pour ces représentations ? Les mots (lexiques, lemmes), leurs représentations sous forme de structures de traits puis de vecteurs (embeddings). Illustration sur la tâche de détection d'en...2023-12-081h 02Informatique et sciences numériques (2023-2024) - Benoît SagotLeçon inaugurale - Benoît Sagot : Apprendre les langues aux machinesCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Leçon inaugurale - Benoît Sagot : Apprendre les langues aux machinesDepuis une dizaine d'années, le terme d'« intelligence artificielle » est revenu partout sur le devant de la scène, des magazines grand public aux créateurs de start-up et aux décideurs politiques. Des progrès dans la recherche sur les réseaux de neurones, une technologie pourtant ancienne, mais aussi l'augmentation de la puissance de calcul et de m...2023-11-301h 06
Collège de France - SélectionLeçon inaugurale - Benoît Sagot : Apprendre les langues aux machinesCollège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Leçon inaugurale - Benoît Sagot : Apprendre les langues aux machinesDepuis une dizaine d'années, le terme d'« intelligence artificielle » est revenu partout sur le devant de la scène, des magazines grand public aux créateurs de start-up et aux décideurs politiques. Des progrès dans la recherche sur les réseaux de neurones, une technologie pourtant ancienne, mais aussi l'augmentation de la puissance de calcul et de m...2023-11-301h 06