97久久精品久久88_国产综合精品久久亚洲_国产精品无码A∨精品_丰满人妻精品一区二区

AI助力政策解讀 人大研究團(tuán)隊(duì)聯(lián)合微點(diǎn)科技發(fā)布“政研大模型”
2023-07-10 11:16:42    界面新聞

7月9日,由中國人民大學(xué)信息資源管理學(xué)院錢明輝教授主持的國家社科基金重點(diǎn)項(xiàng)目舉行階段性成果線上發(fā)布會,發(fā)布了中國人民大學(xué)研究團(tuán)隊(duì)與微點(diǎn)研究院聯(lián)合開發(fā)的“政研大模型(PSLLM-14B)”。

據(jù)錢明輝介紹,該模型基于Multi-Task Transformer架構(gòu),共計140億神經(jīng)網(wǎng)絡(luò)參數(shù),在政策文本分析挖掘任務(wù)中展現(xiàn)出良好的性能,具有“可信”、“可知”、“可用”三大特點(diǎn)。

“可信”是指“政研大模型(PSLLM-14B)”具有一套可信的系統(tǒng)框架,該框架的構(gòu)成要素包括可信的訓(xùn)練數(shù)據(jù)集、可信的模型架構(gòu)、可信的參數(shù)設(shè)置、可信的推理結(jié)果、可信的數(shù)據(jù)保護(hù)能力、可信的硬件設(shè)備、可信的網(wǎng)絡(luò)環(huán)境等。


【資料圖】

錢明輝稱,在訓(xùn)練數(shù)據(jù)集上,模型主要使用了經(jīng)過嚴(yán)格篩選和清洗的高質(zhì)量政策文本,同時利用不同的數(shù)據(jù)來源進(jìn)行多樣化訓(xùn)練,以降低數(shù)據(jù)偏差;其次,在模型架構(gòu)和參數(shù)設(shè)置上,采用了經(jīng)過大量實(shí)驗(yàn)驗(yàn)證的Transformer架構(gòu),并且根據(jù)政策文本的特點(diǎn)調(diào)整了模型參數(shù),以提高模型的泛化性和準(zhǔn)確性;最后,模型的推理結(jié)果采用了一系列驗(yàn)證和評估手段,包括內(nèi)部測試、公開評測等,以保證推理結(jié)果的準(zhǔn)確性和魯棒性。

“可知”是指“政研大模型(PSLLM-14B)”的推理過程及輸出結(jié)果具有較好的可解釋性。此次發(fā)布的“政研大模型(PSLLM-14B)”一大特點(diǎn)在于具有一定的思維鏈(Chain-of-thought, CoT)能力。

所謂思維鏈,是指一系列有邏輯關(guān)系的思考步驟,形成了一個完整的思考過程。“政研大模型(PSLLM-14B)”將思維鏈這一步驟分解的方式應(yīng)用在提示學(xué)習(xí)中,通過將大模型的推理過程分解成多個步驟,模型生成的結(jié)果具有更加清晰的邏輯鏈路,能夠?qū)崿F(xiàn)對大模型智能化推理過程更加清晰、透明的解釋。

而在政務(wù)相關(guān)的場景中,特別是政策制定和解讀,往往涉及到復(fù)雜的邏輯和決策過程,因此,思維鏈技術(shù)在這些場景中就可以幫助政策研究者、政策執(zhí)行者、政策受眾更好地理解和分析政策文本,把握政策的目標(biāo)取向和內(nèi)在邏輯。

“可用”則是指“政研大模型(PSLLM-14B)”作為政研領(lǐng)域的首個大模型,相比其他通用大模型具有性能優(yōu)越性。在解決政策研究相關(guān)問題的過程中,“政研大模型(PSLLM-14B)”表現(xiàn)出更高的準(zhǔn)確率,即對政策解讀任務(wù)或評估政策數(shù)據(jù)集上生成結(jié)果的正確性與真實(shí)情況的一致性更高。

在實(shí)際部署的過程中,“政研大模型(PSLLM-14B)”會以插件化的形式融入現(xiàn)有的數(shù)字基礎(chǔ)設(shè)施和政務(wù)系統(tǒng)。錢明輝舉例,該大模型可以作為政策文本分析和解讀的智能數(shù)字輔助工具,幫助政策研究人員更快地獲取政策信息,更準(zhǔn)確地理解政策含義;也可以根據(jù)未來“政務(wù)云”系統(tǒng)的建設(shè)需要,將“政研大模型(PSLLM-14B)”在云端進(jìn)行部署,提升“政務(wù)云”的智能化服務(wù)能力。

為了降低部署成本和提高適配效率,“政研大模型(PSLLM-14B)”團(tuán)隊(duì)也在模型設(shè)計和優(yōu)化方面做了工作。

錢明輝表示,首先團(tuán)隊(duì)在模型設(shè)計上考慮到了與硬件兼容性,模型主要模塊采用的是廣泛應(yīng)用且兼容性好的Pytorch框架編寫。其次,團(tuán)隊(duì)通過一系列的模型壓縮和量化技術(shù),降低了模型的復(fù)雜度,提高了模型的運(yùn)行效率,使其在CPU設(shè)備上也能高效運(yùn)行。最后,團(tuán)隊(duì)還提供了一整套的模型部署和運(yùn)維方案,包括模型轉(zhuǎn)換、部署、測試、監(jiān)控等,以解決軟硬件適配問題,確保模型的穩(wěn)定運(yùn)行。

(文章來源:界面新聞)

關(guān)鍵詞: