Увага ? це все, що вам треба

≪Увага ? це все, що вам треба≫ ( англ. Attention Is All You Need ) ? це наукова стаття 2017 року в?д Google . ^[1] Створена в?сьмома науковцями, вона була покликана поширити механ?зми уваги 2014 року, запропонован? Багдановим з? сп?вавт., на нову арх?тектуру глибокого навчання , в?дому як трансформер . Цю статтю вважають засадничим документом сучасного штучного ?нтелекту , оск?льки трансформери стали основною арх?тектурою великих мовних моделей . ^[2]^[3] На той час це досл?дження зосереджувалося на покращенн? методик seq2seq ^[en] для машинного перекладу , але нав?ть у сво?й статт? автори бачили потенц?ал для ?нших завдань, як-от в?дпов?дання на питання , та для того, що зараз називають мультимодальним породжувальним Ш? .

Станом на 2024 цю статтю процитували понад 100 000 раз?в. Ус? в?с?м автор?в покинули Google . ^[4]

Прим?тки

↑ Vaswani, Ashish ; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N ; Kaiser, Łukasz; Polosukhin, Illia (2017). Attention is All you Need (PDF) . Advances in Neural Information Processing Systems (англ.) . Curran Associates, Inc. 30 .
↑ Toews, Rob (3 вересня 2023). Transformers Revolutionized AI. What Will Replace Them? . Forbes (англ.) . Арх?в ориг?налу за 26 вересня 2023 . Процитовано 3 December 2023 .
↑ Murgia, Madhumita (23 липня 2023). Transformers: the Google scientists who pioneered an AI revolution . Financial Times (англ.) . Арх?в ориг?налу за 30 листопада 2023 . Процитовано 3 грудня 2023 .
↑ Meet the $4 Billion AI Superstars That Google Lost . Bloomberg (англ.) . 13 липня 2023 — через www.bloomberg.com.

Це незавершена стаття з? штучного ?нтелекту .
Ви можете допомогти про?кту, виправивши або дописавши ?? .