Posts

Shannon Entropy Concept In 1948, engineer and mathematician Claude Shannon published a foundational paper for computer science, and later artificial intelligence: A Mathematical Theory of Communication. This article defines a central idea in the training of current algorithms: information entropy. $$ H = -\sum_{i = 1}^{n} p_i \log_2(p_i) $$ This formula allows us to quantify how random or organized a data source, such as a text-generating program, is. The higher the entropy, the more random the source; the lower the entropy, the more the data consists of recognizable patterns that allow us to predict the next words. ...

Introduction Neural networks require large amounts of data to converge. Those data need to represent the task the neural network is trying to learn. Data collection is a tedious process, especially when collecting data can be difficult or expensive. In science, physics for instance, many phenomenon are described using theories that we know are working very well. Using those data as regularization can help neural networks generalize better with less data. ...

Introduction Au vu de la carte des résultats des élections européennes, on constate immédiatement à quel point le Rassemblement National (RN) est arrivé en tête dans tous les départements, à l’exception notable de Paris, et ceci même dans les régions traditionnellement plutôt à gauche, comme la Bretagne. Mais ce qui m’a frappé, et qui s’explique, je pense, à l’aide des analyses réalisées par l’Ifop que je cite plus bas, c’est à quel point ce que je lisais sur LinkedIn était en décalage avec cette carte. Alors que le RN est à presque un tier des suffrages exprimés, toutes les publications que je pouvais lire sur LinkedIn (ou presque) dans les jours qui ont suivi étaient orientées politiquement à gauche ou en faveur de la majorité présidentielle. ...

Introduction Whenever we need to use a deep learning model for image or text generation, classification or any other task, we have two possibilities: Train the model from scratch Use a pre-trained model and fine tune it for the task we need. Training a model from scratch can be challenging and requires computational resources, time, and sometimes large quantity of data. On the other hand, using a pre-trained model is easier but might require some adaptation to the new task. ...

Introduction The spectacular advancements in terms of understanding and generating language have created a massive enthusiasm for artificial intelligence. Every company is looking for ways to integrate some of these technologies into their products, processes, and services. Governments are competing with announcements. The investments are considerable, at least as much as the number of posts on LinkedIn. These recent developments are partly due to a technology initially developed and made public by a Google team, the Transformers. OpenAI was the first company to understand and exploit the potential of this neural network architecture and applied it to text generation through its successive GPT models. ...

Introduction Les progrès spectaculaires en termes de compréhension et de génération du langage ont créé un engouement massif pour l’intelligence artificielle. Toutes les entreprises cherchent comment intégrer certaines de ces technologies dans leurs produits, leurs processus, leurs services. Les gouvernements rivalisent d’annonces. Les investissements sont considérables, au moins autant que le nombre de publications sur Linkedin. Ces récents développements sont en partie dus à une technologie initialement développée et rendue publique par une équipe de Google, les Transformers. OpenAI a été la première entreprise à comprendre et à exploiter le potentiel de cette architecture de réseau de neurones et l’a appliquée à la génération de texte à travers ses modèles successifs GPT. ...

Pourquoi est-ce que ni l’extrême droite, ni l’extrême gauche ne gagne jamais l’élection présidentielle ? On pourrait penser que la courbe du nombre de votants en fonction du spectre politique ressemble à une courbe gaussienne centrée sur le milieu de l’échiquier politique, avec quelques variations. Il y a plus de gens modérés que d’extrêmes. Mais si l’on regarde les intentions de vote pour chaque candidat ou les résultats du premier tour de l’élection présidentielle, on réalise rapidement que cette réponse n’est pas satisfaisante. ...

Introduction First, let us define “computers” as any machine that can compute. At first, analog machines were used. For example, electronic amplifiers can be used to perform integration, differentiation, root extraction, compute logarithm. Analog computers played a significant role in history, but they have the disadvantage that noise can perturb the computation and lead to errors. Digital computers later replaced analog ones and became mainstream. Any voltage within a range can be interpreted as a specific value. This makes digital computers much more resilient to errors. ...

Introduction J’ai découvert l’OpenSource Intelligence en m’intéressant de près à la sécurité informatique. Lorsque des pirates préparent une attaque sur un système d’information (SI), ils ont besoin d’avoir autant d’informations que possible afin de mener à bien les opérations. En effet, les systèmes d’exploitation (OS), les serveurs utilisés, les versions de ces serveurs et de ces OS conditionnent énormément la manière dont va se dérouler l’attaque. ...