BERTの可視化

概要

BERTのattentionの可視化
日本語pretrainedモデルはこちらのを使わせて頂きました

実行環境

• GPU
• Docker Compose
  • Vue.js
  • python

使い方

• transformer

仮想環境

docker-compose up transformer
docker-compose exec transformer bash

実行

./run_jp_bert.sh [-t] [-e] [-d data_dir]
[-t] 学習
[-e] 評価
[-d data_dir] 利用するデータ 

• calc_attention

仮想環境

docker-compose up calc_attention
docker-compose exec calc_attention bash

実行

python id2wd.py
python mean_attention_weight.py

• visualize

docker-compose up app

上記のコマンドを打ったら http://localhost:8000/ に接続