廣電五舟基于銀河麒麟操作系統(tǒng)的DeepSeek大模型解決方案

方案背景

Programme background

在人工智能技術(shù)迅猛發(fā)展的今天，大型語言模型（LLMs）已經(jīng)在各行業(yè)中嶄露頭角，扮演著關(guān)鍵角色。2024年1月5日，杭州深度求索發(fā)布了第一個DeepSeek LLM大模型，DeepSeek LLM包含670億參數(shù)，從零開始在一個包含2萬億token的數(shù)據(jù)集上進(jìn)行了訓(xùn)練，數(shù)據(jù)集涵蓋中英文。2025年1月20日，DeepSeek正式發(fā)布 DeepSeek-R1 模型，并同步開源模型權(quán)重。DeepSeek-R1在后訓(xùn)練階段大規(guī)模使用了強化學(xué)習(xí)技術(shù)，極大提升了模型推理能力。

方案概述

Overview of the solution

廣電五舟基于DeepSeek和麒麟系統(tǒng)，打造出性能卓越、易于使用的產(chǎn)品方案。該方案在高性能計算、大數(shù)據(jù)和AI技術(shù)等領(lǐng)域表現(xiàn)尤為突出，能夠適用于多種復(fù)雜場景。無論是氣象、生物信息學(xué)等大規(guī)模計算任務(wù)，還是金融、醫(yī)療行業(yè)的數(shù)據(jù)分析與決策工作，亦或是交通管理、安防監(jiān)控等 AI 驅(qū)動場景，該產(chǎn)品方案都能憑借強大的性能和高安全性，為科研機構(gòu)與企業(yè)提供堅實的技術(shù)支撐。

技術(shù)路線

Technical route

芯片架構(gòu)：昇騰、英偉達(dá)、海光
整機硬件：S800K3、S800K2、S627G5、S627H5
操作系統(tǒng)：銀河麒麟高級服務(wù)器操作系統(tǒng) V10、銀河麒麟桌面操作系統(tǒng) V10
基礎(chǔ)軟件：MindIE、Vllm
應(yīng)用軟件：openweb UI、oneapi

方案架構(gòu)

Scheme architecture

方案優(yōu)勢

Solution advantage

基于銀河麒麟操作系統(tǒng)對推理引擎深度優(yōu)化，推理性能吞吐大幅度提升；
支持一鍵部署免去大量算力適配環(huán)節(jié)；

應(yīng)用場景

Application scenarios

本方案主要應(yīng)用于數(shù)字政府業(yè)務(wù)智能系統(tǒng)協(xié)同銀河麒麟高級服務(wù)器操作系統(tǒng)V10，結(jié)合上層智能化調(diào)度平臺，實現(xiàn)一站式大模型訓(xùn)練推理調(diào)度開發(fā)，從而實現(xiàn)各種開放式能力服務(wù)。

成功案例

Success case

案例名稱：某市某政府單位大模型項目

建設(shè)內(nèi)容：基于麒麟系統(tǒng)的deepseek大模型推理

案例價值：采用昇騰算力服務(wù)器，在銀河麒麟高級服務(wù)器操作系統(tǒng)V10上快速構(gòu)建大模型推理應(yīng)用，實現(xiàn)多個智能場景應(yīng)用，例如：智能客服,，大數(shù)據(jù)分析總結(jié)，文檔智能生成審查等場景，大量減少重復(fù)性工作。