先週日曜日のBERTのオンライン学習会に続いて、3日に自然言語処理モデルに関するオンラインセミナーを受講した。
なかなか数学的で初歩レベルには難しい内容だったが、
Attentionは”Transformersの中核"であり、
BERTは”Transformersを始祖とする言語処理モデルの発展型”
ということを漠然とながら理解することができた。
このところよく聞く「AI〜」の多くが関連している自然言語処理モデル。
難易度は高いが、断片的やなんとなくという程度でもいいので今後も継続的に知識を高めたい。
