Patio de red neuronal

Modelo. Dos capas ocultas con la activación elegida alimentan una salida Softmax de dos clases. La entropía cruzada usa logaritmos naturales y se calcula de forma estable a partir de los logits. Los pesos siguen inicialmente U(−√(2/fan-in), √(2/fan-in)); los sesgos empiezan en cero. Los cinco conjuntos sintéticos conservan sus coordenadas y ruido originales.

Entrenamiento y holdout. Cada conjunto tiene 180 puntos. Dentro de cada clase, una mezcla con semilla asigna floor(80%) al entrenamiento y el resto al holdout. Las pérdidas indicadas son pérdidas medias de datos separadas; la exactitud es la fracción correcta. Los ejemplos holdout nunca entran en SGD. Consultar el holdout al elegir ajustes limita su valor como prueba independiente de generalización. Blobs tiene dos cúmulos de clase 0 y uno de clase 1.

Actualizaciones y regularización. SGD muestrea puntos de entrenamiento con reemplazo. Una actualización pausa y procesa exactamente un ejemplo; el entrenamiento continuo usa ocho actualizaciones por lote. El objetivo es la CE media de entrenamiento + λ[αΣ|w| + (1−α)Σw²]. Solo se regularizan los pesos. α = 0 elige L2 al cuadrado, α = 1 elige L1; sign(0) = 0 es el subgradiente L1 elegido. La tasa de aprendizaje 0 registra actualizaciones sin cambiar los pesos. Un lote solo se publica cuando sus actualizaciones y ambos conjuntos de métricas son finitos.

Inspector. La salida, la pérdida y las normas de gradiente del último ejemplo describen el estado antes de su actualización. Un peso muestra los gradientes de datos y de regularización, la tasa de aprendizaje y los valores reales antes/después. Se elige por el mayor gradiente total en valor absoluto, con desempate lexicográfico. Las métricas principales y el gráfico de probabilidad describen el estado después del lote.

Reproducibilidad. Flujos con semilla separados controlan los datos, la inicialización, la partición y la selección de ejemplos. Restablecer recupera el modelo inicial y pausa. Cualquier edición de parámetro invalida la ejecución; los borradores de entrada sobreviven a la navegación. Las vistas ocultas suspenden el entrenamiento sin ponerse al día. Con movimiento reducido, un Entrenar nuevo prepara un modelo inicial en pausa. El gráfico usa azul para la clase 0, rojo para la clase 1, círculos/triángulos para las clases y marcadores rellenos/huecos para entrenamiento/holdout; todos los datos caben en los ejes del modelo.

Referencia. Entropía cruzada a partir de logits de clase. Este modelo de navegador usa el núcleo de red pequeño del repositorio.

Solo se conservan los valores introducidos en este navegador. No se guardan los resultados calculados ni los historiales.