
CodeShell是什么?
CodeShell是北京大學知識計算實驗室聯合四川天府銀行AI團隊研發的多語言代碼大模型基座。CodeShell具有70億參數,在五千億Tokens進行了訓練,上下文窗口長度為8192。在權威的代碼評估Benchmark(HumanEval與MBPP)上,CodeShell取得同等規模最好的性能。
CodeShell代碼:https://github.com/WisdomShell/codeshell
CodeShell基座模型:https://huggingface.co/WisdomShell/CodeShell-7B
代碼助手VSCode插件:https://github.com/WisdomShell/codeshell-vscode
本次開源的模型如下:
- CodeShell Base:CodelShell底座模型,具有強大的代碼基礎能力。
- CodeShell Chat:CodelShell對話模型,在代碼問答、代碼補全等下游任務重性能優異。
- CodeShell Chat 4bit:CodelShell對話模型4bit量化版本,在保證模型性能的前提下內存消耗更小,速度更快。
- CodeShell CPP:CodelShell對話模型CPP版本,支持開發者在沒有GPU的個人電腦中使用。注意,CPP版本同樣支持量化操作,用戶可以在最小內存為8G的個人電腦中運行CodeShell。
CodeShell主要特性
- 強大的性能:CodelShell在HumanEval和MBPP上達到了7B代碼基座大模型的最優性能
- 完整的體系:除了代碼大模型,同時開源IDE(VS Code與JetBrains)插件,形成開源的全棧技術體系
- 輕量化部署:支持本地C++部署,提供輕量快速的本地化軟件開發助手解決方案
- 全面的評測:提供支持完整項目上下文、覆蓋代碼生成、代碼缺陷檢測與修復、測試用例生成等常見軟件開發活動的多任務評測體系(即將開源)
- 高效的訓練:基于高效的數據治理體系,CodeShell在完全冷啟動情況下,只訓練了五千億Token即獲得了優異的性能
如何使用CodeShell?
CodeShell系列模型已經上傳至?Hugging Face,開發者可以通過Transformers快速調用CodeShell和CodeShell-Chat。
在開始之前,請確保已經正確設置了環境,并安裝了必要的代碼包,以及滿足上一小節的環境要求。你可以通過下列代碼快速安裝相關依賴。
pip install -r requirements.txt
接下來你可以通過Transformers使用CodeShell。
