Marcelo Finger
Alan Barzilay

LSTM & GRU

Parte 4

Roteiro

  1. Revisão de AL
  2. LSTMs
  3. GRUs
  4. Redes Bidirecionais

Redes Neurais Bidirecionais

Redes Bi-direcionais

Mesma ideia, mas as 2 redes recebem as tokens em ordem contrária e seus hidden states no final são concatenados.

Isso permite incluir contexto de ambas as direções.

Adicionar  probabilidades condicionais em ambas as direcoes aqui

Redes Bi-direcionais

tf.keras.layers.Bidirectional(
    layer,
    merge_mode="concat",
    weights=None,
    backward_layer=None,
    **kwargs
)

Aqui podemos especificar tanto a rede forward como a rede backward, que pode ser conectada a uma rede de saída

Aplicações

  • Redes Bidirecionais podem ser usadas como encoders, da mesma forma que as redes unidirecionais
  • Modelos de Linguagem mais sensíveis ao contexto
  • Podem ter várias camadas
  • Maior complexidade do modelo requer mais dados
  • Podem ser usadas com Atenção Neural também (próximo curso)
Imagem de um botão estilizado de volta para pagina inicial