Attention Is All You Need (2017)
Ashish Vaswani et al.
Achievement summary
Introduziu Transformers, base dos LLMs modernos e de grande parte da IA atual.
How it was done
- Troca RNNs/CNNs por auto-atenção (self-attention)
- Positional encoding para ordem sequencial
- Paralelização massiva e melhor escalabilidade
