github资源库独家秘籍!轻松上手DeepSeek大模型本地化部署
这是一期关于本地化部署大模型的系列课程。预期将会涵盖DeepSeek大模型的本地化部署、前端应用链接本地大模型、AI工作流的搭建、以及搭建本地知识库。欢迎大家关注我。
考虑到数据隐私以及稳定性等问题,有时候我们希望能够本地化部署一个大模型。这样我们就无需担心数据泄漏、费用、网络等问题。 废话不多说,下面我们正式开始。本期我将为大家介绍,如何使用Ollama来部署DeepSeek-R1。
Ollama[1]是一个提供支持运行大型语言模型能力的平台。它能够让用户轻松地在本地开始使用这些强大的语言模型。并且Ollama还提供了Discord社区、GitHub资源库以及博客文档等多种渠道的支持,帮助用户更好地理解和使用他们的工具和服务。无论是寻找技术支持、最新动态还是参与讨论,用户都可以通过这些平台获取所需的信息和帮助。
Ollama开源免费,提供一个命令行的接口。并且同时支持MacOS、Linux以及Windows。这使得不同平台的用户都能利用这些技术。通过Ollama,个人开发者、研究人员以及企业可以下载、探索并运行各种语言模型,以满足不同的需求。
另一个类似的工具是LLM Studio,它提供了一个GUI的操作界面。理论上上手的难度要低一点。但是它是一个闭源软件,并且在国内拉取大模型时,会有一点的问题。从社区的活跃度来看,Ollama社区也更加的活跃一些。所以我们这里选择了Ollama。
这里我以MacOS为例,其他平台也是类似。下载好之后先进行解压,然后直接点击dmg文件进行安装。之后ollama安装程序会自动运行,如下图。
这里直接点击进行安装。然后会要求你输入系统管理员的密码,输入之后,安装完成,出现如下的界面。
打开你的terminal工具,输入命令,如果你看到如下的输出,那么说明安装就已经成功了。可以看到,我们这里安装的版本是。这也是Ollama目前最新的版本。
是由杭州深度求索人工智能基础技术研究有限公司开发的一个大语言模型。作为当前AI届的当红炸子鸡,我们本次将选择它来部署。又分为以下的几个版本,下图可以从DeepSeek-R1的Github页面[3]获取。
标准尺寸的对于我们本地用笔记本跑来说实在太大了。这里我们选择DeepSeek的蒸馏()模型。这个是通过蒸馏阿里千问的大模型得来的。
接下来我们继续在terminal工具里面输入这条命令,这里不带任何参数默认就是。如果是下载其他的模型比如那么需要带上参数,就像这样。
输入上面的那条命令之后,我们只需要静静地等待即可,取决于你的网速,通常来说下载不会很快。对于的模型,大小为左右,请耐心等待。这里有一个小技巧,是支持断点续传的,如果觉得太慢,可以尝试中断之后再次运行上面的命令,这样有可能会快一点。
➜ ~ ollama run deepseek-r1pulling manifestpulling 96c415656d37... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.7 GBpulling 369ca498f347... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 387 Bpulling 6e4c38e1172f... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 KBpulling f4d24e9138dd... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 148 Bpulling 40fb844194b2... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 487 Bverifying sha256 digestwriting manifestsuccess Send a message (/?forhelp)
简单介绍一下你自己您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。 Send a message (/?forhelp)
好了,本次教程就到这里了。下次我们将继续介绍如何使用GUI界面访问本地部署的大模型。记得点赞关注我呦!
大家都在看
-
ChatGPT再进化:deep research接入GitHub代码库github资源库
换脸短剧专区智东西5月9日消息,OpenAI正在强化其人工智能驱动的“深度研究(deepresearch)”功能,新增对GitHub代码库的分析能力。...
-
如何用智能体解决问题?_github资源库
换脸短剧专区单一性问题,通过一问一答能解决;而系统性问题,没有固定手册,则要分析整个结构,多搜几次、多问几次,才能解决。 这不难理解吧...
-
Windows Arm64 托管运行器正式支持 GitHub Actions加速开发流程github资源库
换脸短剧专区过去一年,Arm与GitHub持续紧密合作,致力于为基于Arm平台的开发者打造更便捷、更高效的开发体验。GitHub推出的Arm...
-
GitHub Actions 现已支持所有公共仓库的 Windows on Arm 运行器github资源库
换脸短剧专区GitHubActions是一种持续集成和持续交付(CI/CD)平台,可用于自动执行生成、测试和部署管道,可以让用户在GitHub仓...
-
GitHub Actions全新升级:公共仓库现已支持Windows on Arm运行器!!github资源库
换脸短剧专区在现代软件开发中,持续集成和交付(CI/CD)无疑是提升工作效率的重要手段,而GitHub作为一个流行的代码托管平台,其GitHubActio...