跳到主要内容

经典 NLP 任务(分类、序列标注、机器翻译、QA)

要解决的问题

在 LLM 统一范式出现之前,NLP 按 任务类型 拆分模型与数据集。了解经典任务有助于:设计 评测基准、构建 SFT 数据、理解 专用模型是否仍必要

任务概览

任务输入→输出典型模型(前 LLM 时代)LLM 时代
文本分类文本→标签BERT+分类头Prompt + 生成标签
序列标注序列→标签序列BiLSTM-CRF、BERT生成 JSON / 指针
机器翻译源语言→目标语言Seq2Seq、Transformer大模型零样本/少样本翻译
抽取式 QA段落+问题→片段BERT spanRAG + 生成答案
生成式 QA上下文+问题→自由文本T5、BARTGPT 类直接生成
摘要文档→短文BART、PEGASUS指令「请总结」
对话多轮历史→回复专用对话系统ChatGPT 类统一

评测指标

分类:Accuracy、F1;翻译/摘要:BLEU、ROUGE(见 1.4.4 NLP 指标)。LLM 时代仍沿用部分指标,但 开放式生成 更依赖人工或 LLM-as-Judge(7.2.2)。

从专用模型到统一生成

指令微调 将多任务统一为 (instruction, input) → output 格式(见 4.2 指令微调)。

何时仍需要专用模型

  • 极低延迟、极小体积:端侧分类器
  • 结构化约束极强:工业 OCR 后处理
  • 成本:海量简单分类可用小模型

参考链接