Механизм внимания (Attention)

Ключевой компонент трансформеров, позволяющий модели фокусироваться на релевантных частях входных данных. Self-attention позволяет каждому токену «смотреть» на все остальные токены в последовательности.