开发人工智能模型,实现信息智能化处理,包括各类预训练语言模型、对话模型、机器翻译、文本分析等模型,构建大模型训练数据,训练不同参数规模的模型,在不同显卡资源进行训练和部署,用以提供企业级服务
1、设计基于Transformer的大模型架构,如BERT、GPT等
2、大规模训练数据处理的构建,包括各类文本数据,如通用领域、垂直领域,以及各类对话数据,翻译、文本生成、信息抽取等
3、实现百亿级大模型的训练,全参数微调、Lora训练等,实现垂直领域模型训练等工作
4、发布垂直领域模型,通用NLP模型,翻译模型、文本生成模型等