LIP

近年来，深度学习技术在软件工程领域的应用取得了长足进展。特别是受到自然语言处理领域的预训练语言模型（如BERT, XLNet, RoBERTa, ELECTRA, GPT-2, T5和BART等）的启发，代码预训练模型也得到了非常快速的发展和广泛的研究。基于现有代码预训技术，我们提出了一种新的预训练模型SPTCode。此外，为让人工智能和软件工程领域相关学者快速了解该技术的发展现状，我们综述了现有的20个代码预训练模型，并从模型架构、数据模态、预训练任务和编程语言类型等四个角度对其归类和讨论不同模型的优缺点。