• 52 Posts
  • 1.46K Comments
Joined 1 year ago
cake
Cake day: June 15th, 2023

help-circle









  • Le choix c’est pas entre IA et police humaine parfaite, c’est entre IA et la police qu’on a, avec encore moins de budget.

    On pourrait tout de même regretter que cela prenne la place des interprètes qui savent traduire bien au-delà des mots.

    L’expérience de ma compagne japonaise c’est que la place dont tu parles est généralement vide et remplie par un fonctionnaire qui s’en fout et qui ne parle même pas anglais.

    Quant aux benchmark, effectivement on parle de taux d’erreur entre 1% et 3% dans le cas des RAG.

    Source?

    Le problème des benchmarks, c’est qu’ils sont là pour tester des différences de performances entre modèles. Ils sont faits pour être durs plutôt que réalistes. Un benchmarks qui te donnerait 100% ou 99.99% de succès, on le jetterait à la poubelle car il ne permet plus d’évaluer les progrès, et on en assemblera un nouveau avec les 0.01% d’erreur.

    Ce qu’on demande en l’occurrence, c’est d’avoir un taux d’erreur inférieur au taux humain. Ce qui me semble extrêmement atteignable vu le niveau des policiers.






  • Alors je comprends complètement le cynisme qu’on peut avoir autour de la hype que ces techniques engendre et d’autant plus quand elles sont mises en avant par nos génies du gouvernement, mais franchement vu l’état actuel de ces techno le dépôt de plainte c’est exactement ce dans quoi moi j’ai envie de les voir déployees.

    Ça peut résoudre plein de problèmes qu’on a en ce moment. Je veux dire là le but c’est pas de faire un travail parfait c’est de faire mieux que le désastre total qui est l’accueil en commissariat aujourd’hui.

    Faisable en ligne. Tout le temps ouvert. Parlant 40 langues. Ayant un vocabulaire bien supérieur à la moyenne des fdo. Capable de dérouler un entretien selon des instructions avec patience sans jugement dans la langue que vous voulez. Le code de la procédure sur un genou et Legifrance sur l’autre. Ça va pas résoudre tous les problèmes d’un coup de baguette magique mais celui du refus du dépôt deplainte je pense que ça peut le résoudre totalement.

    D’après un benchmark d’OpenAI, aucun modèle ne produit de résultats factuellement corrects plus d’une fois sur deux.

    Il faut comprendre un truc autour des histoires d’évaluation des LLM : des problèmes qu’on a c’est qu’ils sont trop bon bien meilleur que la plupart des benchmark qu’on a on est constamment obligé de faire de meilleur benchmark pour mesurer les différences entre les meilleurs modèles. C’est parce qu’ils ont ce problème qu’openai vient de sortir un benchmark particulièrement difficile pour ses modèles.

    Ces benchmarks là ne mesurent pas une chose utile pour l’application dont on parle, ims mesurent le savoir brut d’un modèle et sa capacité à le sortir. Par exemple ne pas confondre la médaille d’or et la médaille d’argent aux épreuves du 110 m haie des JO de 1986 ou que sais-je.

    Un modèle à qui tu donnes un texte au début de sa fenêtre de contexte et sur lequel tu lui poses des questions va aujourd’hui très très rarement faire des erreurs et seulement si tu lui poses des questions d’une façon un peu tordue. Je pense que si on peut toutes les métriques possibles on a pas grand chose à gagner à faire saisir une plainte par un policier que par un llm


  • Un pote me l’avait montré en me disant “franchement regarde! Matrix a rien inventé!” et, j’ai trouvé ça plutôt mauvais.

    Je veux dire, oui, Matrix a pas inventé l’immersion dans des mondes virtuels. C’est un classique de la SF depuis longtemps qui décrit des prisons, des jeux, des guerres, des paradis et des enfers virtuels des décennies avant ces deux films.

    Le truc c’est que autant Matrix passe bien aussi en tant que film d’action avec quelques message socio-politiques, autant eXistenZ, y a que “vous imaginez si on était dans un univers virtuel?”. Qui plus est, je trouve que c’est très mal mis en scène par quelqu’un qui propose d’explorer un jeu vidéo futuriste sans rien comprendre des codes du genre.

    Pourtant, le message des deux films est rigoureusement le même : et si le monde réel n’était pas le monde réel ? Les deux œuvres jouent en effet avec l’idée que la virtualité est la réalité.

    Rigoureusement? Non. Existenz dit “Imaginez que ces jeunes avec leurs jeux vidéos là, qui fuient le réel, se mettent à plus faire la différence, vous y avez pensé hein?” Alors que Matrix parle d’IA et hubris technologique, de double vie, avec un message pro-trans planqué, de résistance au capitalisme, de rapport à la réalité et au mensonge, de singularité technologique, le tout enrobé d’une mystique ésotérique et d’une esthétique cyberpunk.

    Y a un thème vaguement similaire entre les deux films, mais ce thème n’est en rien novateur en SF. Du coup l’argument de l’antériorité a peu de dents par rapport au fait qu’un film a bien des qualités qui dont défaut à l’autre.





  • Des prévisions gouvernementales « trop optimistes »

    L’aggravation de la situation découle, pour une part, d’une mauvaise anticipation des ressources. Ainsi, la fraction de TVA versée à la « Sécu » s’est avérée moins importante que ce qui était escompté. Le Haut Conseil des finances publiques avait pourtant signalé en

    Et j’ai pas la suite, mais le titre devrait plutôt être « le gouvernement vole 7,5 milliards d’euros à la sécu » parce que c’est ça qui s’est passé. C’est pas la sécu qui est trop dépensière, comme on sent très bien qu’on va nous le dire, c’est l’état qui a mal fait son boulot.

    Donc on doit rajouter ces 7,5 milliards au total de ce que Bruno Le Maire nous a fait perdre, puisque c’est, comme dans le cas du budget de l’État, une mauvaise évaluation par le gouvernement des recettes.