最近玩起了deepseek 的本地部署

最近,我彻底沉迷于DeepSeek的本地部署,玩得不亦乐乎。今天,我刚刚下单了一张Tesla T10显卡,价格大约1400元。虽然价格有点小贵,但为了追求更高的性能,我还是咬咬牙下单了。现在就盼着几天后它能到货,到时候就能看看实际效果究竟如何了。

目前,我正在使用ollama跑deepseek的机器配置如下:i5-7400处理器、32GB内存、一块GTX 1050 Ti 4GB显卡,以及一张Tesla P102矿卡(10GB显存,入手价280元左右)。整台机器的显存总容量为14GB。在运行14B模型时,速度非常快,大概能达到14 tokens/s,且全程由GPU完成运算。不过,当运行32B模型时,速度就会下降到2.19 tokens/s,因为此时无法完全依赖GPU,CPU也必须参与运算。我用的是Ubuntu 24.04系统, ubuntu下这些N卡驱动支持非常好。

等T10显卡到货后,它的16GB显存加上P102的10GB,整台机器的显存总容量将达到26GB。这样一来,运行32B模型时应该能够完全压入GPU运行了,我期待能将速度提升到14 tokens/s。其实,我之前也考虑过购买P100(目前报价1120元左右),价格比T10便宜不少。但它的架构和P102一样,最终我还是决定多花点钱,入手一个新架构的显卡。说到底,预算还是有限。现在,2080 Ti魔改22GB显存的版本在pdd拼多多上售价大约2700元,我还在观望这些显卡到年底会不会涨价。

我进行本地部署主要有两个目的。一是为了深入体验AI的魅力(DeepSeek的出现让我眼前一亮),顺便学习一些AI相关的知识,不想在数字化时代掉队;二是想结合编程,探索一些实际应用场景。比如,qwen2.5-coder在编程方面表现非常出色,用它辅助编写python小程序非常爽, 可惜目前我只能运行它的14B版本。购买16G显存的T10显卡,就是为了能运行32B版本,进一步拓展应用的可能性。目前,我暂时能想到的就这些,后续应该还有更多有趣的发现。

发表在 一般生活 | 留下评论

在主路由openwrt运行程序上传和下载数据快

在主路由openwrt运行程序上传和下载数据快,昨晚才发现的,我的主路由现在是软路由来的,系统openwrt, 昨晚无心的把一个上传和下载数据的程序放上去运行,结果比在局域网内其他机器无论上传和下载的数据都快,真古怪,是ipv6的,udp协议,不过现在想到的是,会不会就是软路由的小包数据转发不行昵,比应路由差昵,找天把软路由换回ax6的来试试,硬路由有专门优化的硬件转发,可能就是这个原因吧。

改天有心情再换上测试一下。

不过有问题的是,ax6是arm的cpu, 跑其它程序有点麻烦,之所以换x86的软路由,就是贪在x86上跑普通程序是非常方便的.

发表在 一般生活 | 留下评论

我终于阴了

星期三去测核酸阴,前一天抗原测试也显示阴了,12月18日发烧的,始终还是中招了,不知道是在公司还是家里中的,18日当天发烧,然后当天23点作用退烧,吃了布洛芬,之后的日子就是开始骨痛,然后头晕,咳嗽等等,持续到今天30日,基本所有症状接近消失,剩下的就是间中有几声咳,有白啖。

整个中招过程,就是刚开始一粒布洛芬,中间饮了几杯三亚苦,还有一包过期的菌毒清中药冲剂,没吃过其它药了。

话说真的很久没有这样病过了,应该有三年没有这么大病过,跑步这么久还是有点作用的.

发表在 一般生活 | 一条评论

记录下阳了的

今天早上刚回到公司,听同事说,前台的一个女的发烧了,还有另一个办公室的,也是阳了的,上星期保安部已经有三个了,有两个年纪比较大的,我没有接触过他们,反正现在个人还是带着口罩开工,希望自己没事吧,昨晚还在公园跑步了10公里尼,抵抗力应该会比其它人好一丁点吧,

反正希望这波开放后的,大家齐齐健康度过,幸福快乐的活着。

发表在 一般生活 | 留下评论

每天赚一元,去今日头条注册了

为了每天赚一元。去今日头条注册了, 是手机的今日头条极速版,同事说在哪里看文章有点钱赚,于是下载了个玩玩,今天是用今日头条极速版第四天,基本是一天三元左右,同事说这是新人的福利,慢慢就会少了,新人的福利时间是7天,看看过后会不会少到一元以下吧,反正就是抱着玩的心态,

帮老妈和另一个同事注册了个号,拉新人,每个6元,赚了12元,这像是以前玩的cpa吧.

不过话说,我现在的博客都没什么流量,不过找时间挂个广告,蚊子都是肉吧。

发表在 一般生活 | 留下评论

开始更改自己的跑步姿势

开始更改自己的跑步姿势, 在网上学习了很多跑步姿势教程好,加上自己的实践,开始慢慢更改自己的跑步姿态,其实就是抬脚问题,抬脚后,还要一定要屈脚,既是弯曲,人的身体要弯曲,才有弹性的,这两个动作是最要紧,抬脚高度决定跑速,但现在好难控制脚掌落地的姿态,的确在抬脚高点后,配速提高了少许,但步频却降低了,这个有点不好,要慢慢适应这种姿态.

发表在 一般生活 | 留下评论