DICTIONARY · AI 中文词典
AI 中文词典
transformer / RAG / agent / fine-tuning / context / prompt 等 AI 技术名词,中文化解释,涵盖架构 / 技术 / 指标 / 公司 / 人物 / 模型 / 任务。
Llama 系列
Llama (family)模型家族
Meta 的 open-weight LLM 家族,含 Llama 1、2、3、4,是现代可自部署 AI 生态的奠基模型线。
LoRA(低秩适应)
LoRA (Low-Rank Adaptation)技术
一种高效微调技术,通过训练小型低秩矩阵来调整大模型,无需更新全部权重。
LSTM(长短期记忆网络)
LSTM (Long Short-Term Memory)架构
一种能记住长序列信息的循环神经网络,是 Transformer 出现前处理序列数据的主流架构。
机器翻译 (Machine translation)
Machine translation任务
把文字从一种语言自动转成另一种,历史上由 phrase-based 跟 neural 系统主导,现在几乎全由 LLM 处理。
Meta AI / FAIR
公司
Meta 的 AI 研究部门,Yann LeCun 任职于此,推出 Llama 开源模型家族跟 PyTorch。
Mistral 系列
Mistral (family)模型家族
Mistral AI 的模型家族,含 Mistral 7B、Mixtral 8x7B/8x22B(sparse MoE)、Mistral Large、Codestral,是欧洲旗舰 LLM 线,混合 open 与商业发布。
Mistral AI
公司
巴黎的 AI 实验室,以高效的欧洲 open-weight 模型闻名,推出 Mistral 7B、Mixtral 8x7B、商业版 Mistral Large。
混合专家模型 (Mixture of Experts, MoE)
Mixture of Experts (MoE)架构
一种把模型拆成多个"专家"子网络的架构,每次只激活少数几个专家来处理输入,使参数量大幅增加但算力成本不会等比上升。
MMLU
指标
57 个学科(高中到专业级)的选择题基准,是衡量 LLM 广泛知识最常被引用的指标,以正确率(%)呈现。
月之暗面 (Moonshot AI)
Moonshot AI公司
杨植麟于 2023 年创立的北京 AI 创业公司,推出 Kimi 聊天助手,以超长 context(20 万中文字符)跟强劲的消费者用户采用闻名。
多头注意力 (Multi-head attention)
Multi-head attention架构
Transformer 中的核心机制,并行执行多组注意力运算,让模型同时关注输入中不同层面的关系。
多模态 (Multi-modal)
Multi-modal其他
能处理或产生多种输入输出(文字 + 图片、音频、视频)的 AI 系统,不只单一模态。
命名实体识别 (NER)
Named entity recognition (NER)任务
从非结构化文字中识别并分类命名实体(人名、组织、地名、日期、产品)的任务。
OpenAI
公司
推出 ChatGPT、GPT-4、o 系列推理模型的 AI 实验室,2015 年成立,目前是最知名的商业 AI 公司。
困惑度 (Perplexity)
Perplexity指标
衡量语言模型对下一个 token 有多「意外」的指标,数值越低越好;本质是平均 negative log-likelihood 的指数。
提示工程 (Prompt engineering)
Prompt engineering技术
写出能让 LLM 稳定产出高质量结果的 prompt 的技术,包含结构、示例、角色设定、限制条件。
提示注入 (Prompt injection)
Prompt injection技术
攻击者在输入内容(文档、网页、email)里藏指令,劫持 LLM 行为的攻击手法。
QLoRA
技术
结合 4-bit 量化与 LoRA 的微调技术,让你用单张消费级 GPU 也能微调大模型。
量化 (Quantization)
Quantization技术
把模型权重从 16/32 位浮点数压成 8/4/2 位,大幅减少内存使用并加快推理速度的技术。
问答 (Question answering, QA)
Question answering任务
对用户问题给出直接答案的任务,可分为靠模型内建知识(closed-book)或先检索文档再回答(open-book / RAG)。
通义千问 (Qwen) 系列
Qwen (family)模型家族
阿里巴巴的 Qwen open-source LLM 家族(Qwen 1、1.5、2、2.5、3),是 Hugging Face 上下载最多的中文 open-weight 模型线。
ReAct(推理 + 行动)
ReAct (Reason + Act)技术
让模型交替写推理(Thought)与调用工具(Action)的 agent 模式,能根据工具结果继续推理。
循环神经网络 (RNN)
Recurrent Neural Network (RNN)架构
一种逐步处理序列数据的神经网络,通过隐藏状态把先前的信息传递下去,用来记住上下文。
检索增强生成 (RAG)
Retrieval-Augmented Generation (RAG)技术
让 LLM 在回答前先检索相关文档,再根据这些资料生成答案的技术,可大幅降低幻觉。
RLHF(人类反馈强化学习)
RLHF (Reinforcement Learning from Human Feedback)技术
通过人类对模型回答的偏好评分,训练语言模型产生更有用、更安全回应的技术。
ROUGE 分数
ROUGE指标
评估摘要质量的指标家族,比对生成摘要与人类参考摘要的 n-gram 重叠;常见有 ROUGE-1、ROUGE-2、ROUGE-L。
Sam Altman(山姆・奥特曼)
Sam Altman人物
OpenAI 首席执行官,前 Y Combinator 总裁,是 AI 业界最公开的代表人物,主导 OpenAI 商业战略与高曝光的公共沟通。
扩展法则 (Scaling laws)
Scaling laws其他
经验观察:LLM 表现会随模型大小、训练数据、算力增加而可预测地提升,常以幂律曲线描述。
Self-Attention(自注意力机制)
Self-Attention架构
让序列中每个 token 观察其他所有 token、判断哪些最相关的机制,是 Transformer 的核心运算。
情绪分析 (Sentiment analysis)
Sentiment analysis任务
依情绪分类文字(正面、负面、中性,或更细的情绪标签)的任务,广泛用于评论、社交监测、市场研究。
推测式解码 (Speculative decoding)
Speculative decoding技术
用小模型先预测几个 token、大模型一次验证的推理加速技巧,能在不损失质量下让 LLM 生成快 2-3 倍。
语音转文字 (STT / ASR)
Speech-to-text (STT/ASR)任务
把语音转成文字的任务(也叫 ASR,自动语音识别),最广泛使用的模型是 OpenAI 的 Whisper。
Stable Diffusion 系列
Stable Diffusion (family)模型家族
Stability AI 的 open-weight 图像生成 diffusion 模型家族(SD 1.5、SDXL、SD3、SD 3.5),是 open-source AI 艺术生态的基础。
状态空间模型(Mamba)
State-Space Model (Mamba)架构
一种用隐藏状态压缩序列信息的模型架构,计算量随长度线性增长,是 Transformer 注意力机制的替代方案。
摘要 / 总结 (Summarization)
Summarization任务
把长输入(文章、逐字稿、文档)压缩成保留关键信息的较短版本的任务。
SuperCLUE
指标
综合性的中文 LLM 基准测试,涵盖推理、知识、语言、代码、安全,会定期更新 leaderboard。
监督式微调 (SFT)
Supervised fine-tuning (SFT)技术
用一组(输入、理想输出)配对数据 fine-tune 预训练模型的方法,是 post-training 的第一步。
系统提示 (System prompt)
System prompt其他
对话开头的特殊指令,设定模型在整个对话的角色、语气、行为规则与限制。
温度 (Temperature)
Temperature (sampling)其他
控制 LLM 输出随机程度的采样参数——0 = 完全 deterministic 保守,越高越多样但也越容易出错。
文字生成 (Text generation)
Text generation任务
LLM 最核心的任务:根据 prompt 产生自由格式的文字,涵盖 chat、写作、补全等所有输出本身为自然语言的场景。
文字转语音 (TTS)
Text-to-speech (TTS)任务
把文字转成语音的任务,现代 neural TTS 系统(ElevenLabs、OpenAI TTS、Google)能产出接近人声、可复制、有情感、多语言的声音。
分词 (Tokenization)
Tokenization技术
把原始文字切成 token(子词、整词或字符)的过程,这些 token 才是 LLM 实际处理的单位。
工具使用 / 函数调用 (Tool use / Function calling)
Tool use / function calling技术
LLM 自行决定调用外部函数(搜索、代码、API),并用结果产生最终回答的能力。
Top-k sampling
其他
把每个 token 选择限制在概率前 k 高的采样方法,比 top-p 简单但较不自适应。
Top-p / Nucleus sampling
Top-p / nucleus sampling其他
从累积概率达 p 的最小 token 集合中采样的方法,会随模型信心自动调整候选范围。
Transformer
架构
Google 在 2017 年提出的神经网络架构,靠 self-attention 并行处理序列,是 GPT、Claude 等大语言模型的基础。
变分自编码器 (VAE)
Variational Autoencoder (VAE)架构
一种生成式神经网络,将数据压缩成概率分布的潜在空间,再从中采样生成新样本。
向量数据库 (Vector database)
Vector database技术
专门存储高维向量(embedding)并能快速找到最相近向量的数据库。