DeepSeek V3

Tổng quan

DeepSeek V3 series là mô hình lớn MoE có 671B tham số (37B hoạt động) và ngữ cảnh 128K. Nó hỗ trợ bộ nhớ đệm ngữ cảnh dựa trên đĩa, trong đó chi phí truy cập bộ nhớ đệm chỉ khoảng 7% giá trị đầu vào, mang lại lợi thế chi phí lớn trong các kịch bản ngữ cảnh dài. Tương thích với API Chat Completions của OpenAI.

Khả năng

128K ngữ cảnh; bộ nhớ đệm ổ cứng (cache_hit ~26% của cache_miss); hiểu hình ảnh; Function Calling; chế độ JSON; hoàn thành FIM; tương thích với OpenAI API; kiến trúc MoE.

Trường hợp sử dụng

Nhiệm vụ suy luận chi phí thấp; tạo và hoàn thiện mã; phân tích tài liệu dài; hiểu ngôn ngữ Trung Quốc; quy trình tác nhân; xử lý dữ liệu hàng loạt; nghiên cứu và giáo dục học thuật.

Hạn chế

Không tạo hình ảnh; việc cache phụ thuộc vào số lần truy cập (không được đảm bảo); độ đồng thời cao cần liên hệ bộ phận bán hàng; phiên bản được lượng tử hóa FP8 rẻ hơn nhưng có một chút mất độ chính xác.

Ví dụ

export ANTHROPIC_AUTH_TOKEN="YOUR_API_KEY"
export ANTHROPIC_BASE_URL="https://api.robovai.com"
export ANTHROPIC_MODEL="deepseek-v3"
claude