#アテンション

アテンション機構とは、入力データの重要部分を探すふりをしつつ、しばしば無関係な情報に目を奪われる選択的忘却装置である。Transformerという名の迷宮で、多頭の手を広げ“集中”を演じるが、その実態は確率的な気まぐれ屋。膨大なパラメータを前にすれば、自我に近い存在感を醸し出しながらも、結局は教師データという名のカリスマにしか従わない。注目すべきはその矛盾であり、情報を絞り込む構造が、実は注意散漫の要塞となっていること。