Chinese-BERT-wwmは、ハルビン工業大学訊飛連合実験室（HFL）が開発した、全単語マスキング（Whole Word Masking）技術に基づく中国語BERT事前学習モデルシリーズです。本プロジェクトは、中国語情報処理の研究開発をさらに促進することを目的とし、全単語マスキング技術に基づく中国語事前学習モデルBERT-wwm、およびこの技術と密接に関連するモデルを公開しています。
プロジェクトは、複数の中国語NLPタスクで包括的な評価を実施し、精度などの複数の指標をテストしました。オリジナルのBERTと比較して、中国語タスクで大幅な改善が見られました。
from transformers import BertTokenizer, BertModel
# tokenizerとモデルをロード
tokenizer = BertTokenizer.from_pretrained('hfl/chinese-bert-wwm')
model = BertModel.from_pretrained('hfl/chinese-bert-wwm')
# 使用例
text = "你好，世界！"
tokens = tokenizer(text, return_tensors='pt')
outputs = model(**tokens)
Chinese-BERT-wwmプロジェクトは、中国語自然言語処理に強力な事前学習モデル基盤を提供し、全単語マスキング技術を通じてモデルの中国語理解能力を効果的に向上させました。プロジェクトが提供する多様なモデル選択、充実したオープンソースのエコシステム、および継続的な技術サポートは、中国語NLPの研究および応用にとって重要なツールとなっています。学術研究であろうと産業応用であろうと、このプロジェクトから恩恵を受け、中国語人工知能技術の発展を促進することができます。