OpenBMB

CPM-Bee是一个完全开源、可商业化使用的中英文双语基础模型，拥有100亿个参数。它是CPM-live训练过程中取得的第二个里程碑。利用Transformer自动回归架构，CPM-Bee已在万亿规模的大量语料库中进行了预训练，从而具备了卓越的基础能力。