トピックス

日本語論文タイトルのBERT自然言語処理によるベクトル化とクラスタリング

Google Scholarの検索結果ページをhtmlファイルで保存し、Phytonで読み込みます。

#Install
!pip install transformers==4.5.0 fugashi==1.1.0 ipadic==1.0.0
!pip install japanize-matplotlib

#Import
import random
import glob
from tqdm import tqdm

import pandas as pd
import numpy as np

from bs4 import BeautifulSoup
import os
import re

from sklearn.decomposition import PCA
from sklearn.cluster import KMeans

import matplotlib.pyplot as plt
import japanize_matplotlib
import seaborn as sns
sns.set(font="IPAexGothic")

import torch
from torch.utils.data import DataLoader
from transformers import BertJapaneseTokenizer, BertModel

# BERTの日本語モデル
MODEL_NAME = 'cl-tohoku/bert-base-japanese-whole-word-masking'

# htmlファイルの読み込みとタイトルを抽出してリストに
f_list = glob.glob("./input/*")
title_list = []
for file in f_list:
  print(file)
  soup = BeautifulSoup(open(file), 'html.parser')
  # title情報を抽出してリストに代入
  titles = soup.find_all('h3', class_='gs_rt')
  for title in titles:
    title_list.append(title.text)

# 論文idリスト
r = range(1,121)
id = list(r)

# タイトルとidをデータフレームに
df = pd.DataFrame({'id': id, 'title': title_list})

# タイトルの前処理(不要な文字の削除)
title_list_del = []
for title in title_list:
  title_del = re.sub("[a-xA-Z0-9_]","", title)
  title_del = re.sub("[!-/:-@[-`{-~]","",title_del)
  title_del = re.sub(u'\n\n', '\n', title_del)
  title_del = re.sub(u'\r', '', title_del)
  title_list_del.append(title_del)

# ベクトル化
## トークナイザとモデルのロード
tokenizer = BertJapaneseTokenizer.from_pretrained(MODEL_NAME)
model = BertModel.from_pretrained(MODEL_NAME)
model = model.cuda()

## 各データの形式を整える
max_length = 256
sentence_vectors = [] # 文章ベクトルを追加していく。

for i, text in enumerate(title_list_del):
  #print(i)
  encoding = tokenizer(
    text, 
    max_length=max_length, 
    padding='max_length', 
    truncation=True, 
    return_tensors='pt'
     )
  encoding = { k: v.cuda() for k, v in encoding.items() } 
  attention_mask = encoding['attention_mask']

  # 文章ベクトルを計算
  # BERTの最終層の出力を平均を計算する。
  with torch.no_grad():
    output = model(**encoding)
    last_hidden_state = output.last_hidden_state 
    averaged_hidden_state = \
      (last_hidden_state*attention_mask.unsqueeze(-1)).sum(1) \
      / attention_mask.sum(1, keepdim=True) 

  # 文章ベクトルを追加
  sentence_vectors.append(averaged_hidden_state[0].cpu().numpy())

## numpy.ndarrayにする。
sentence_vectors = np.vstack(sentence_vectors)

# k-meansによる３つのクラスタリングと主成分分析
model = KMeans(n_clusters=3, random_state=0, init='random')  # initを省略すると、k-means++法が適応される(randomではk-means法が適応)
model.fit(sentence_vectors)
clusters = model.predict(sentence_vectors)  # データが属するクラスターのラベルを取得

# dfにcluster番号を列として追加
df['cluster'] = clusters

# csvファイルで保存
df.to_csv('kmeans3_pca_02.csv')

# 10-6 主成分分析
sentence_vectors_pca = PCA(n_components=2).fit_transform(sentence_vectors) 
plt.figure(figsize=(10,10))
plt.scatter(sentence_vectors_pca[:,0],
         sentence_vectors_pca[:,1],
         s=100, c=clusters, cmap='Set1'
         )
plt.title('PCA_k-means(3clusters)', fontsize=20)
plt.xlabel("PC1", fontsize=18)
plt.ylabel("PC2", fontsize=18)
plt.savefig('k-means3_pca.png')　　# Plotを画像ファイルで保存
plt.show()