miaomiaoailearn's Introduction

MyAILearn

近期AI调研喵

内容引导

调研

AI 代码能干什么

名称	功能	开源情况
Tabnine	1. 全线代码完成(line) 2. 全功能代码完成(function) 3. 自然语言到代码的补全 4.学习你的编码模式和风格	闭源，免费
copilot	1. 创建样板和重复的代码模式,以一条注释来描述所想逻辑 2.快速循环上下文代码行，提供多行的代码补全建议。	闭源，收费
阿里Cosy	1. 行代码补全 2.自然语言生成代码、及文档（来自stackoverflow.com、阿里云开源社区、csdn）应该是现场搜的	闭源，免费
华为PanGu-Coder	1.能用中文！	闭源，没见能用

用什么框架

框架	开源协议
PaddleNLP百度飞浆	Apache-2.0¹
PyTorch脸书
TensorFlow谷歌		资料

用什么模型

SOTA生成式模型
- Text-to-Text：ChatGPT、LaMDA和PEER
- Text-to-Code：Codex（GPT3）、Alphacode
- 注释：RoBERTa（BERT）是掩码语言建模（完形填空）、GPT是自回归语言建模（预测内容）
开源模型网站：
- Hugging Face我关注以下：
  - codegen-350M-multi
  - CodeGPT-small-java-adaptedGPT2
  - microsoft/CodeGPT-small-java

怎么训练

数据集如何整理、收集

理论支持

1. 什么是 Transformers

Transformers是TensorFlow 2.0和PyTorch的最新自然语言处理库

Transformers(以前称为pytorch-transformers和pytorch-pretrained-bert)提供用于自然语言理解(NLU)和自然语言生成(NLG)的最先进的模型(BERT，GPT-2，RoBERTa，XLM，DistilBert，XLNet，CTRL …) ，拥有超过32种预训练模型，支持100多种语言，并且在TensorFlow 2.0和PyTorch之间具有深厚的互操作性。