FunctionGemma 3 模型微调指南：针对客服系统（Customer Service Chatbot）

FunctionGemma 3

同学，你好！随着 Gemma 3 的发布，Google 推出了更加轻量、强大的 FunctionGemma 3 (基于 Gemma 3 270M)。这次我们就来聊聊如何针对客服系统微调这个最新模型。

FunctionGemma 3 的核心优势：

极小体积：270M 参数，可在手机、平板等边缘设备极速运行。
原生支持工具调用：专为 Function Calling 优化，逻辑更严密。
多语言增强：支持超过 140 种语言。

Function Calling Cycle 图：典型的 Function Calling 循环流程

客服聊天机器人通常需要：

理解客户问题（意图识别）
提供礼貌、专业的回复
如果需要，调用工具（如查询订单、检查库存、退款等 API）

FunctionGemma 3 是这种场景的绝佳选择，它能在本地快速决定“什么时候调用工具”，降低延迟并保护隐私。

客服系统微调有两种常见方式：

纯对话微调：让模型更好地处理客服对话（推荐入门）。
带工具调用微调：让模型能主动调用你的客服 API（如查订单、取消订单等），更智能。

我们一步步来，用 Google Colab 免费完成。

1. 推荐数据集

客服专用数据集（Hugging Face 上免费）：

首选：bitext/Bitext-customer-support-llm-chatbot-training-dataset
- 约 27k 条数据，覆盖 27 种常见客服意图（如 cancel_order、check_invoice、place_order 等）。
- 包括各种行业（零售、银行、旅行等），非常专业。
- 字段：instruction（客户问题）、response（客服回复）、category、intent 等。
备选：
- Salesforce/xlam-function-calling-60k：如果想强调函数调用，这个数据集有 60k 条带工具调用的例子。
- 混合使用：先用 Bitext 数据微调对话，再加工具调用数据。

加载数据集示例：


from datasets import load_dataset
 
dataset = load_dataset("bitext/Bitext-customer-support-llm-chatbot-training-dataset", split="train")
# 如果想带工具调用：dataset = load_dataset("Salesforce/xlam-function-calling-60k", split="train[:5000]")

2. 数据格式化（针对 FunctionGemma）

FunctionGemma 使用特殊的聊天模板，支持工具调用。

如果纯客服对话（不带工具）：格式化为标准聊天：


def format_chat(example):
    messages = [
        {"role": "user", "content": example["instruction"]},
        {"role": "model", "content": example["response"]}
    ]
    return {"text": tokenizer.apply_chat_template(messages, tokenize=False)}
 
dataset = dataset.map(format_chat)

如果带工具调用（推荐高级客服系统）：你需要定义客服工具，例如：

check_order_status(order_id)
cancel_order(order_id)
get_refund_policy()

数据集中加入工具描述，并在示例中包含函数调用。

示例格式（多轮）：


messages = [
    {"role": "user", "content": "我的订单 #12345 状态如何？"},
    {"role": "model", "content": "<start_function_call>name:check_order_status<parameters>{'order_id': '12345'}</parameters><end_function_call>"},
    {"role": "tool", "content": "{'status': '已发货', 'tracking': 'ABC123'}"},  # 模拟工具返回
    {"role": "model", "content": "您的订单 #12345 已发货，追踪号是 ABC123。"}
]

用 Unsloth 的 notebook 可以自动处理（见下文）。

3. 推荐微调工具：Unsloth（针对 Gemma 3 深度优化）

FunctionGemma 3 官方推荐使用 Unsloth 进行微调。它在 Gemma 3 上的表现极其惊艳：

速度提升：比标准训练快 1.6 倍。
显存节省：减少 60% VRAM 占用。
高兼容性：支持 4-bit 量化，即使在普通消费级显卡（如 RTX 3060）也能轻松训练。

Unsloth Performance 图：Unsloth 对 Gemma 3 微调的加速与优化效果

4. Gemma 3 架构纵览

FunctionGemma 3 继承了 Gemma 3 的先进架构。虽然它是 270M 的超小模型，但采用了与大模型一致的 Transformer 架构，并针对推理效率进行了极致平衡。

Gemma 3 Architecture 图：Gemma 3 架构示意，展示了高效的注意力机制与多模态扩展能力

打开 Unsloth 官方 FunctionGemma 微调 notebook：
- 基本：https://docs.unsloth.ai/models/functiongemma （有免费 Colab 链接）
- 带推理前思考：Reason before Tool Calling notebook
- 手机动作示例：Mobile Actions notebook（类似客服工具调用）

步骤：

换模型为 unsloth/functiongemma-270m-it（Unsloth 优化版）。
加载你的客服数据集。
用 LoRA 微调（r=64, epochs=3）。
训练完导出到 Hugging Face 或手机。

代码片段（基于 Unsloth）：


from unsloth import FastLanguageModel
from trl import SFTTrainer
 
model, tokenizer = FastLanguageModel.from_pretrained(
    "unsloth/functiongemma-270m-it",
    dtype=None,
    load_in_4bit=True
)
 
model = FastLanguageModel.get_peft_model(model, r=64, ... )  # LoRA 配置
 
trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=2048,
    args=...  # epochs=3, batch_size=8 等
)
 
trainer.train()

4. 定义你的客服工具并测试

微调后，定义工具：


tools = [
    {
        "type": "function",
        "function": {
            "name": "check_order_status",
            "description": "查询订单状态",
            "parameters": {"type": "object", "properties": {"order_id": {"type": "string"}}}
        }
    },
    # 加更多工具：cancel_order, get_refund 等
]

测试：


messages = [{"role": "user", "content": "帮我查一下订单 #12345 的状态"}]
 
input_text = tokenizer.apply_chat_template(messages, tools=tools, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
 
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0]))

预期输出：模型会生成函数调用，然后你执行工具，返回结果，再让模型总结回复客户。

5. 进阶建议

数据增强：用你的真实客服记录（脱敏后）进一步微调，效果更好。
安全与礼貌：在系统提示中加 “始终礼貌、专业，不泄露隐私”。
部署：微调后用 Ollama 或 LM Studio 在本地跑，或手机上（超轻量）。
评估：用测试集检查准确率（意图识别 >90%，工具调用正确率 >85%）。

这样微调后，你的客服机器人会超级专业，能处理常见问题，还能智能调用后端 API！如果想结合具体工具（如订单系统），告诉我你的工具列表，我帮你细化代码。加油，期待你的客服 bot 上线！💬🚀