Chinese-BERT-wwm 是由哈工大訊飛聯合實驗室（HFL）開發的基於全詞掩碼（Whole Word Masking）技術的中文BERT預訓練模型系列。該項目旨在進一步促進中文信息處理的研究發展，發布了基於全詞掩碼技術的中文預訓練模型BERT-wwm，以及與此技術密切相關的模型。
項目在多個中文NLP任務上進行了comprehensive evaluation，包括準確率等多項指標的測試。相比原版BERT，在中文任務上有顯著提升。
from transformers import BertTokenizer, BertModel
# 加載tokenizer和模型
tokenizer = BertTokenizer.from_pretrained('hfl/chinese-bert-wwm')
model = BertModel.from_pretrained('hfl/chinese-bert-wwm')
# 使用示例
text = "你好，世界！"
tokens = tokenizer(text, return_tensors='pt')
outputs = model(**tokens)
Chinese-BERT-wwm項目為中文自然語言處理提供了強大的預訓練模型基礎，通過全詞掩碼技術有效提升了模型對中文的理解能力。項目提供的多樣化模型選擇、完善的開源生態和持續的技術支持，使其成為中文NLP研究和應用的重要工具。無論是學術研究還是工業應用，都可以從這個項目中受益，推動中文人工智能技術的發展。