TensorFlow est en version 2 Alpha depuis mars 2019.

The 2.0 Alpha release is available now. Users can use this today and get started with all that TensorFlow 2.0 has to offer. 

https://www.tensorflow.org/community/roadmap

Les changements sont importants, notamment en ce qui concerne la simplification d’usage. C’est ce que nous allons voir avec ce tutoriel.

Contrairement à nos tutoriels précédents (qui utilisaient Jupyter sur Mac), celui-ci, et les suivants, sont sur GCP (Google Colaboratory Platform).

Le logiciel est ici et le document ici.

L’exercice consiste à classifier des images d’habits (un peu du type de MNIST).

On utilise la sur-couche Keras à TensorFlow.

Installation

On commence par installer la bonne version de TensorFlow (si ce n’est pas déjà fait). Dans GCP c’est inutile !

Imports

Le from __future__ est là pour la compatibilité avec les versions précédentes de Python.

On importe les librairies de base (TensorFlow, Keras, numpy et pyplot). Pour ceux qui ne connaissent pas Keras, c’est ici (pour résumer, Keras est une API en Python au dessus de TensorFlow et CNTK), on importe numpy (indispensable pour les calculs scientifiques en Python) et pyplot pour les affichages.

Données

Les données à classer sont celles de Fashion-MNIST.

Fashion-MNIST is a dataset of Zalando‘s article images—consisting of a training set of 60,000 examples and a test set of 10,000 examples. Each example is a 28×28 grayscale image, associated with a label from 10 classes. We intend Fashion-MNIST to serve as a direct drop-in replacement for the original MNIST dataset for benchmarking machine learning algorithms. It shares the same image size and structure of training and testing splits.

https://github.com/zalandoresearch/fashion-mnist

Ci-dessous un échantillon de ces images.

Lecture des données (téléchargement)

On utilise Keras pour le téléchargement des données.

Notez que l’import des données peut aussi se faire de cette façon (méthode que je préfère) :

A la suite de ces lignes, on dispose de données pour l’apprentissage (train_images) et pour le test (test_images). Le label (étiquettes, noms, catégories) de ces images est dans (train_labels) et (test_labels).

Il est important de distinguer le validation set du test set. Lire ici.

To reiterate the findings from researching the experts above, this section provides unambiguous definitions of the three terms.
Training Dataset: The sample of data used to fit the model.
Validation Dataset: The sample of data used to provide an unbiased evaluation of a model fit on the training dataset while tuning model hyperparameters. The evaluation becomes more biased as skill on the validation dataset is incorporated into the model configuration.
Test Dataset: The sample of data used to provide an unbiased evaluation of a final model fit on the training dataset.

https://machinelearningmastery.com/difference-test-validation-datasets/

fashion_mnist.load_data() return 2 tuples:

x_train, x_test: uint8 array of grayscale image data with shape (num_samples, 28, 28).
y_train, y_test: uint8 array of labels (integers in range 0-9) with shape (num_samples,).

https://keras.io/datasets/

Les étiquettes des données sont des catégories numériques, dont les noms sont :

LabelDescription
0T-shirt/top
1Trouser
2Pullover
3Dress
4Coat
5Sandal
6Shirt
7Sneaker
8Bag
9Ankle boot

Etudes des données

affiche : le nombre de données d’apprentissage et leur taille

soit 60 000 images carrées de 28 pixels de côté.

Le nombre d’étiquettes est donc aussi de 60 000

chaque étiquette étant un nombre entre 0 et 9

quant aux images de test, elles sont au même format et au nombre de 10 000

et le nombre de labels pour la validation est aussi de 10 000

Préparation des données

Les images sont en niveaux de gris. Elles ont des valeurs entre 0 et 255, comme on peut le voir avec cet exemple :

On veut que les valeurs soient entre 0 et 1. C’est ce qu’impose TensorFlow.

affichage des 25 premières images (apprentissage)

Construction du modèle (architecture du réseau)

Keras permet de décrire séquentiellement les couches du réseau de neurones.

Commençons par la 1ère ligne, qui décrit la 1ère couche :

The model needs to know what input shape it should expect. For this reason, the first layer in a Sequential model (and only the first, because following layers can do automatic shape inference) needs to receive information about its input shape.

https://keras.io/getting-started/sequential-model-guide/

On a bien un input_shape=(28, 28) de 28*28 puisque nos images ont cette taille. On commence par transformer notre matrice (image) 28*28 en un vecteur de dimension 28*28=784.

Ensuite, on est dans le cas d’un Dense dont la fonction d’activation est un ReLU (Rectified Linear Unit). On a ici une couche de 128 neurones. Cette couche est connectée à la couche précédente de 784 neurones.

Dense implements the operation: output = activation(dot(input, kernel) + bias) where activation is the element-wise activation function passed as the activation argument, kernelis a weights matrix created by the layer, and bias is a bias vector created by the layer (only applicable if use_bias is True)

https://keras.io/layers/core/#dense

A dense layer is a regular DNN (Deep Neural Network) layer that connects every neuron in the defined layer to every neuron in the previous layer. For instance, if Layer 1 has 5 neurons and Layer 2 (dense layer) has 3 neurons, the total number of connections between Layer 1 and Layer 2 would be 15 (5 × 3). Since it accommodates every possible connection between the layers, it is called a “dense” layer.

Learn Keras for Deep Neural Networks – Jojo Moolayil – apress

On termine avec une couche de 10 neurones (normal puisqu’on a 10 catégories).

La fonction d’activation est un softmax.

Notre réseau de neurones a cette architecture. Ne pas oublier que c’est pour 60 000 images.

compilation du modèle

Before training a model, you need to configure the learning process, which is done via the compilemethod. It receives three arguments:
An optimizer. This could be the string identifier of an existing optimizer (such as rmsprop or adagrad), or an instance of the Optimizer class. See: optimizers.
A loss function. This is the objective that the model will try to minimize. It can be the string identifier of an existing loss function (such as categorical_crossentropy or mse), or it can be an objective function. See: losses.
A list of metrics. For any classification problem you will want to set this to metrics=['accuracy']. A metric could be the string identifier of an existing metric or a custom metric function.

https://keras.io/getting-started/sequential-model-guide/#compilation

3 paramètres sont nécessaires à la compilation : l’optimizer, la fonction de coût et la métrique.

optimizer

The optimizer function is a mathematical algorithm that uses derivatives, partial derivatives, and the chain rule
in calculus to understand how much change the network will see in the loss function by making a small change in the weight of the neurons. The change in the loss function, which would be an increase or decrease, helps in determining the direction of the change required in the weight of the connection. 

Learn Keras for Deep Neural Networks – Jojo Moolayil – apress

L’optimizer retenu ici est Adam.

Adam, which stands for Adaptive Moment Estimation, is by far the most popular and widely used optimizer in DL. In most cases, you can blindly choose the Adam optimizer and forget about the optimization alternatives.

Learn Keras for Deep Neural Networks – Jojo Moolayil – apress

Il n’y a pas de choix par défaut pour l’optimizer mais le plus courant est Adam.

fonction de coût

La fonction de coût est sparse_categorical_crossentropy.

C’est la fonction qu’on utilise dans les cas comme le nôtre :

Categorical crossentropy with integer targets.

https://keras.io/backend/#sparse_categorical_crossentropy

métrique

La métrique est accuracy.

metrics: List of metrics to be evaluated by the model during training and testing. Typically you will use metrics=['accuracy']

https://keras.io/models/model/#compile

Similar to the loss function, we also define metrics for the model in Keras. In a simple way, metrics can be understood as the function used to judge the performance of the model on a different unseen dataset, also called the validation dataset. The only difference between metrics and the loss function is that the results from metrics are not used in training the model with respect to optimization. They are only used to validate the test results

Learn Keras for Deep Neural Networks – Jojo Moolayil – apress

Notez bien que la métrique ne sert pas au calcul mais seulement à valider les résultats sur les données de test.

apprentissage

On indique au modèle d’utiliser les image train_images avec leur étiquettes train_labels sur 5 epochs (parcours complet du jeu de données).

Après 5 epochs la perte est de 0.4901 pour une exactitude de 0.8268

validation

On étudie comment se comporte le modèle sur les données de validation.

Le résultat :

Le résultat 0.8156 est légèrement inférieur à 0.8268 calculé sur les données d’apprentissage, signe d’une léger sur-apprentissage (overfitting)

Prédictions

Testons quelques prédictions.

Si on s’intéresse à la première des prédictions :

on obtient :

La prédiction est 9 comme le montre les lignes suivantes :

ce qui est une bonne prédiction, puisque le label est aussi 9

Conclusion

La suite du code n’est pas présentée car elle n’a que peu d’intérêt en ce qui concerne le Deep Learning. Il s’agit uniquement d’affichage des prédictions.

En résumé, on a construit un DNN avec seulement quelques lignes de code et on obtient un résultat honorable. Avec un réseau un peu plus complexe, du type CNN, on obtient plus de 93% d’accuracy.

Pour un exemple de CNN en analogie avec l’exemple MNIST Keras.

On obtient les résultats :

Dans cet exemple, seul les lignes

ont été modifiées pour remplacer MNIST par Fashion MNIST

Si vous remplacez keras.optimizers.Adadelta par keras.optimizers.Adam vous obtiendrez un encore meilleur résultat.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *