本文地址：blog.lucien.ink/archives/538

本文用来收集各种和生成式模型相关的内容，由于 ChatGPT 是其代表，也是会被写入人类历史进程的一个名字，所以便用 ChatGPT 作为标题的一部分，以表示我对 OpenAI 团队由衷的敬佩。

2023-04-02 更新

• Improving Language Understanding by Generative Pre-Training (2018)

  • 介绍了 GPT 的结构和训练方式，文章提到未来可以继续拓展的几个方向。其中一个便是模型在 ZERO-SHOT 的设定下，模型的表现与堆叠的解码器层数有直接的正相关性。

• Language Models are Unsupervised Multitask Learners (2019)

  • 文章认为对单任务单领域的训练是模型缺乏泛化能力的主要原因，实践验证仅靠预训练 + 提示 + 预测就在8/9个任务里达到了SOTA。

• Language Models are Few-Shot Learners (2020)

  • 继续探索了在不对下游任务进行适配（模型结构不更改、参数不更新）的情况下，模型的表现。

• Training language models to follow instructions with human feedback (2022)

  • 探索了指示学习和基于人工反馈的强化学习训练，基本上约等于 ChatGPT。

• LoRA: Low-Rank Adaptation of Large Language Models (2021)

  • 提出通过训练一个低秩参数矩阵来进行模型微调，相较于直接微调整个模型，能在损失较少精度的情况下大幅降低训练成本。

• Self-Instruct: Aligning Language Model with Self Generated Instructions（2022）

  • 让模型尝试通过半监督的方式自己去生成指令样本，能取得不错的效果。

• LLaMA: Open and Efficient Foundation Language Models

  • 训练了从 7B 到 65B 的一组模型，全部贡献给开源社区，且 LLaMA-13B 在多数基准测试中优于 GPT-3(175B)。
  • 验证了公开数据集的可行性，以及小模型（相比 OpenAI 的规模）的潜力。
  • 开源模型地址：huggingface.co/decapoda-research

• Stanford Alpaca: An Instruction-following LLaMA Model

  • 花了 $500 去调用 OpenAI 的 text-davinci-003 并收集数据，然后用这些数据花了 $100 来微调 LLaMA-7B 模型，得到了一个效果还不错的模型，取名为 Alpaca，模型未开源。
  • 公开了生成数据的代码，以及对应的数据集：alpaca_data.json

• Guanaco: A Multilingual Instruction-Following Language Model Based on LLaMA 7B

  • 同样是对 LLaMA-7B 进行微调，不同的是在 alpaca_data.json 的基础上增加了对繁简体中文及日语的指令，共计 534530 条，数据集地址：Guanaco Dataset。

• Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality

  • 花了 $300 左右，使用 用户共享的数据 来对 LLaMA-13B 进行微调，可以在 GPT-4 的评测 下达到 ChatGPT 90% 的水平。
  • Demo: Vicuna Online Demo，源码：FastChat，暂未公开模型。
  • ShareGPT Github: [domeccleston/sharegpt]

• BELLE: Be Everyone's Large Language model Engine

  • 来自 链家 的技术团队，提供了训练代码、数据、模型，包含一些中文改进。HuggingFace 主页：BelleGroup

• Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model

  • 在 LLaMA 的基础上使用 BELLE 和 Guanaco 训练了 lora，提供了代码和训练过的 Lora。HuggingFace 主页：Chinese-Vicuna

暂时先收集这些，总结下来就一句话：OpenAI 不够体面，开源社区帮他体面。以及作为马后炮，我认为在对 GPT 现代化改进的加持下，于多数日常任务来说，10B 左右的规模应该是足够的。

2023-04-04 更新

• 今天 vicuna 放出了他们的模型：lmsys/vicuna-13b-delta-v0

2023-04-06 更新

• Koala: A Dialogue Model for Academic Research

  • 主要是使用 EasyLM 提升了训练速度，使用 8 张 A100 完成两轮 epoch 只需要 6 个小时，大大降低了训练成本。评测效果优于 Alpaca，达到 ChatGPT 50% 的性能。

2023-04-09 更新

• 链家放出了 13B 的模型：BelleGroup/BELLE-LLAMA-13B-2M

  • 同时还放出了更多的数据集
• 一个跟进 LLM 的 Repo：Awesome-LLM: a curated list of Large Language Model

2023-04-22 更新

当前的开源社区大致有 3 个方向：

1. 复现 ChatGPT 的效果
2. 加速（模型轻量化、更底层的训练/推理加速）
3. 应用（插件、Auto-GPT、ViedoChat、提示魔法）

• Auto-GPT: An Autonomous GPT-4 Experiment

  • 会上网、使用工具，能根据人类给出的任务，自己定目标、思考、执行。
  • 在线 DEMO：AgentGPT

• MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models

  • 用小模型复现了 GPT-4 的多模态能力，已开源
  • 项目主页：MiniGPT-4
  • 模型：Vision-CAIR/MiniGPT-4

• Generative Agents: Interactive Simulacra of Human Behavior

  • 令若干个独立的基于 GPT 的 Agent “生活”在一起，会产生很多类似人类的社会行为
  • DEMO 在国内打不开，在这里只放出论文

• ChatGPT 中文指南

  • 这是一个很早以前就有的项目，只是每次都得根据回忆去重新搜出来，不如就直接记在这里

• 复旦大学的 MOSS

  • 昨天（4 月 22 日）刚刚开源，给出了模型、数据、代码
  • 并且 MOSS 支持插件，如科学计算、上网、绘图，据我了解这是开源社区的首次支持
  • 关于插件如何使用，可参考这里：plugin模型，有用python代码写的使用例子吗？而非只是动态图片，截止到写下这行文字，作者还没有实际测试过。

2023-04-23 更新

• Awesome ChatGPT Prompts

  • ChatGPT 中文指南 的英文版本

• ChatGPT 学术优化

  • 科研工作专用ChatGPT/GLM拓展，特别优化学术Paper润色体验，模块化设计支持自定义快捷按钮&函数插件，支持代码块表格显示，Tex公式双显示，新增Python和C++项目剖析&自译解功能，PDF/LaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持gpt-3.5/gpt-4/chatglm

• Chat with any PDF

  • 可以将 PDF GPT 作为上下文，然后可以问他任何问题，比如摘要、理解、建议等。