Ollama

# 运行 Llama 3.1（首次运行会自动下载模型）
ollama run llama3.1

# 运行 DeepSeek-R1
ollama run deepseek-r1

# 运行通义千问（中文对话推荐）
ollama run qwen2.5

# 查看本地已下载的模型
ollama list

# 拉取模型但不运行
ollama pull gemma2

# 查看正在运行的模型
ollama ps

# 创建 Modelfile 文件
# FROM llama3.1
# SYSTEM "你是一个专业的中文翻译助手，请将用户输入的内容翻译为流畅的中文。"
# PARAMETER temperature 0.3

# 创建自定义模型
ollama create my-translator -f Modelfile

# 运行自定义模型
ollama run my-translator

# 生成文本（Ollama 原生 API）
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1",
  "prompt": "请用中文解释什么是机器学习",
  "stream": false
}'

# 使用 OpenAI 兼容 API 进行对话
curl http://localhost:11434/v1/chat/completions -d '{
  "model": "qwen2.5",
  "messages": [
    {"role": "system", "content": "你是一个有帮助的助手。"},
    {"role": "user", "content": "Hello!"}
  ]
}'

from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
response = client.chat.completions.create(
    model="llama3.1",
    messages=[{"role": "user", "content": "你好"}]
)
print(response.choices[0].message.content)