Aire de jeu réseau de neurones

Modèle. Deux couches cachées avec l'activation choisie alimentent une sortie Softmax à deux classes. L'entropie croisée utilise les logarithmes naturels et est calculée de façon stable à partir des logits. Les poids suivent initialement U(−√(2/fan-in), √(2/fan-in)) ; les biais partent de zéro. Les cinq jeux de données synthétiques conservent leurs coordonnées et leur bruit d'origine.

Entraînement et holdout. Chaque jeu a 180 points. Dans chaque classe, un mélange à graine assigne floor(80 %) à l'entraînement et le reste au holdout. Les pertes indiquées sont des pertes de données moyennes séparées ; la précision est la fraction correcte. Les exemples holdout n'entrent jamais dans SGD. Consulter le holdout tout en choisissant les réglages limite sa valeur comme test de généralisation indépendant. Blobs a deux amas de classe 0 et un amas de classe 1.

Mises à jour et régularisation. SGD échantillonne les points d'entraînement avec remise. Une mise à jour met en pause et traite exactement un exemple ; l'entraînement continu utilise huit mises à jour par lot. L'objectif est la CE d'entraînement moyenne + λ[αΣ|w| + (1−α)Σw²]. Seuls les poids sont régularisés. α = 0 choisit L2 au carré, α = 1 choisit L1 ; sign(0) = 0 est le sous-gradient L1 retenu. Un taux d'apprentissage 0 enregistre les mises à jour sans changer les poids. Un lot n'est publié qu'après ses mises à jour et lorsque les deux jeux de métriques sont finis.

Inspecteur. La sortie, la perte et les normes de gradient du dernier exemple décrivent l'état avant sa mise à jour. Un poids montre les gradients de données et de régularisation, le taux d'apprentissage et les valeurs réelles avant/après. Il est choisi par le plus grand gradient total en valeur absolue, avec départage lexicographique. Les métriques principales et le graphique de probabilité décrivent l'état après le lot.

Reproductibilité. Des flux à graine séparés contrôlent les données, l'initialisation, la séparation et le choix des exemples. Réinitialiser restaure le modèle initial et met en pause. Toute modification de paramètre invalide l'exécution ; les brouillons d'entrée survivent à la navigation. Les vues masquées suspendent l'entraînement sans rattrapage. Avec les animations réduites, un nouvel Entraîner prépare un modèle initial en pause. Le graphique utilise le bleu pour la classe 0, le rouge pour la classe 1, cercles/triangles pour les classes et marqueurs pleins/creux pour entraînement/holdout ; toutes les données tiennent dans les axes du modèle.

Référence. Entropie croisée à partir des logits de classe. Ce modèle navigateur utilise le petit cœur de réseau du dépôt.