ModelScope 推理 Demo
Token 留在服务端，经 /api/modelscope/* 代理调用魔搭免费 API-Inference（OpenAI 兼容）
在线对话
魔搭 API-Inference 通常每日约 2000 次免费
已实测：列出模型 + 流式 / 非流式 chat 均可用。Qwen3 默认关闭 thinking，回复更干净。
调用说明
本站代理（推荐）
bash
# 本站已把 Token 放在服务端 .env.local
# 浏览器只需打本地代理，不必暴露 ms-xxx
# POST /api/modelscope/chat
curl -N http://localhost:3000/api/modelscope/chat \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen3-8B",
"messages": [{"role":"user","content":"用一句话解释 OEE"}],
"stream": true
}'直接 SDK 加载权重
python
# ModelScope SDK（本地 / Notebook 加载权重，需 GPU）
from modelscope import pipeline
pipe = pipeline("text-generation", model="Qwen/Qwen3-8B")
print(pipe("请解释制造业里的 OEE"))