LLM技术全景图：技术人必备的技术指南，一张图带你掌握从基础设施到AI应用的全面梳理

news/2024/9/23 3:32:49

LLM技术全景图：技术人必备的技术指南，一张图带你掌握从基础设施到AI应用的全面梳理

LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。

LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。

核心价值：帮助技术人快速了解 LLM 的核心技术和关键方向。

1.基础设施

LLM 技术图谱（LLM Tech Map）的基础设施部分主要包括以下几个方面：

向量数据库：向量数据库是专门用于存储和检索向量数据的数据库，它可以为 LLM 提供高效的存储和检索能力。
数据库向量支持：传统数据库通常不支持向量数据的存储和检索，数据库向量支持可以为传统数据库添加向量数据的存储和检索能力。
大模型框架、微调 (Fine Tuning)：针对大模型的开发。
大模型训练平台与工具

1.1向量数据库

Milvus
Pinecone
Weaviate
Chroma
Qdrant
Vespa
Vald
Faiss
ScaNN
Vearch
AquilaDB
Marqo
LanceDB
Annoy
NucliaDB
DeepLake
MongoDB

1.2数据库向量支持

pgvector
Redis Vector
Elastic
SingleStoreDB
Solr
OpenSearch
ClickHouse
Rockset
Cassandra
Lucene
Neo4j
Kinetica
Supabase
Timescale

1.3大模型框架、微调 (Fine Tuning)

OneFlow
LMFlow
LoRA
Alpaca-LoRA
PEFT
ChatGLM-Efficient-Tuning
LLaMA-Efficient-Tuning
P-tuning v2
OpenLLM
h2o-llmstudio
xTuring
finetuner
YiVal

1.4大模型训练平台与工具

Pytorch
BMtrain
colossalAI
Tensorflow
PaddlePaddle
MindSpore
Deepspeed
XGBoost
Transformers
Apache MXNet
Ray

2.大模型

LLM 技术图谱（LLM Tech Map）的大模型部分主要包括以下几个方面：

备案上线的中国大模型：有牌照提供服务的大模型，需要注意的是大模型和相应的产品多半名称不同。
知名大模型：在全球范围内，已经发布了多款知名大模型，这些大模型在各个领域都取得了突破性的进展。
知名大模型应用：LLM 已经在多种应用场景中得到了应用，包括文本生成、机器翻译、问答、自然语言推理等。

2.1中国大模型

文心一言
云雀
GLM
紫东太初
百川
日日新
ABAB 大模型
书生通用大模型
混元大模型

2.2知名大模型

Llama 2
OpenLLaMA
百川
通义大模型
文心一言
StableLM
MOSS
Dolly
BLOOM
Falcon LLM
ChatGLM
PaLM 2
盘古
GPT-4
Stable Diffusion
DALL·E 3

2.3 知名大模型应用

ChatGPT
Claude
Cursor
Mochi Diffusion
Midjourey
DragGAN
Bard
Bing

3.AI Agent（LLM Agent）

AI Agent是一种能够自主运作并完成特定任务的计算实体或程序。它能够通过传感器感知周围环境，并根据感知到的信息做出决策，然后通过执行器采取行动。LLM Agent 是指基于 LLM 技术构建的智能代理，它可以用于各种任务，比如让机器与 ChatGPT 交互，一层一层挖掘信息，自动化完成任务；比如由机器人构成的虚拟小镇。

核心特点
- 自主性：AI Agent具有独立思考和行动的能力，能够在没有人类直接指导的情况下完成任务。
- 交互性：AI Agent能够与环境或其他Agent进行交互，这在游戏、对话系统、推荐系统等场景中尤为重要。
- 目的性：AI Agent设计有明确的目标或意图，其行为是为了实现这些目标。
- 适应性：AI Agent能够根据环境的变化调整自己的行为，以适应新的情境。
- 进化性：随着技术的发展，AI Agent的功能和智能水平也在不断提升。
技术特点
- AI Agent与大模型的主要区别在于，大模型与人类之间的交互是基于prompt实现的，而AI Agent仅需给定一个目标，它就能够针对目标独立思考并做出行动。
- AI Agent的核心驱动力是大模型，并在此基础上增加了规划（Planning）、记忆（Memory）和工具使用（Tool Use）三个关键组件。

类型从工作模式来看，AI Agent可以分为以下三种类型：
- 单Agent：侧重于执行单一任务或一系列相关任务，且不需要与其他智能体进行交互。
- 多Agent：涉及多个智能体之间的协作和交互，以完成更复杂的任务。
- 混合Agent（人机交互Agent）：结合了人类和智能体的交互，以实现更高效的任务执行。
Rivet
JARVIS
MetaGPT
AutoGPT
BabyAGI
NexusGPT
Generative Agents
Voyager
GPTeam
GPT Researcher
Amazon Bedrock Agents

4.AI 编程

AI编程是指利用计算机编程语言和技术来创建、训练和优化人工智能算法的过程。它涵盖了数据的收集、清洗、转换以及算法的选择和应用。AI编程是构建未来智能系统的关键，通过模拟人类智能的能力，使计算机能够执行类似于人类的决策和任务。编程语言如Python因其强大的数据处理库和简洁的语法，成为AI编程的常用工具。