#ニューラルネットワーク

アテンション機構とは、入力データの重要部分を探すふりをしつつ、しばしば無関係な情報に目を奪われる選択的忘却装置である。Transformerという名の迷宮で、多頭の手を広げ“集中”を演じるが、その実態は確率的な気まぐれ屋。膨大なパラメータを前にすれば、自我に近い存在感を醸し出しながらも、結局は教師データという名のカリスマにしか従わない。注目すべきはその矛盾であり、情報を絞り込む構造が、実は注意散漫の要塞となっていること。

オートエンコーダとは、入力をほぼ同じに出力しつつ圧縮比を誇るニューラルネットワークという名の自己模倣装置である。潜在空間に情報を押し込み、そこから原形復帰を試みるという、データ界の折り紙細工師。実際には恒等写像を学びがちで、圧縮という大義名分のもと真似事に終始する。汎用性を謳う割に、真の再構成は往々にして望み薄。研究者は日々、その自己再現の皮肉的限界を嘆きながら学習ログに耽る。