OSCHINA
相信经常网上冲浪的朋友对下面这个账号应该不会陌生:
没错,正是微博上知名的 AI 博主 ——「爱可可-爱生活」,粉丝数近百万,日更不断,致力于传播前沿 AI 技术。
陈光,北京邮电大学人工智能学院副教授,中国人工智能产业发展联盟具身智能工作组秘书长,主要研究方向是文本计算和具身智能等。拥有多项发明专利,主持、参与国家重大专项、核高基、国家 863、国家自然科学基金等多项国家级项目,在国际高水平期刊和学术会议发表论文数十篇。 创办微博账号 “爱可可-爱生活”,聚焦人工智能主题,以专业的学术品味、广阔的领域视野、敏锐的业界观察、丰富优质的资源推荐,为广大人工智能、机器学习和数据科学爱好者所熟悉和喜爱。多次在团中央、发改委等企事业单位作大模型和人工智能报告,是人民网 “全国大学生同上一堂人工智能大课” 主讲专家。 著有《DeepSeek 全攻略》、《走进具身智能》等广受欢迎的科普书。
上周,OSCHINA 有幸邀请到了陈光教授(@爱可可-爱生活)做客「高手问答」栏目,和大家一起聊聊 AI。
下面是部分问答回顾:
1. Deepseek以来,很多人开始做AI本地部署,这个是否有必要?
2. 继续上一个问题,端侧AI的计算类型千奇百怪,目前有没有比较好的端侧AI框架,能够覆盖尽可能多的计算设备?
1、是否有必要本地部署AI要"视具体情况而定",主要取决于以下因素: 隐私与安全需求:数据敏感度越高,本地部署价值越大 使用频率与成本:高频使用场景下,本地部署可能更经济 定制化需求:需要专门训练或调整的场景更适合本地控制 基础设施能力:拥有足够计算资源的组织更容易实现本地部署 Deepseek的出现降低了本地部署的技术门槛,为更多场景提供了选择的可能性,但这并不意味着所有人都需要走本地部署路线。最优解应该是根据具体需求选择最合适的部署方式。 如果需要在多种设备上部署AI模型,目前较为实用的方案是: 1、以ONNX为中心的工作流: - 训练模型转换为ONNX格式 - 针对不同设备选择最优运行时(ONNX Runtime、厂商SDK等) - 利用设备特定的量化工具进一步优化 2、基于编译优化的方案: - 使用TVM或类似技术针对目标硬件编译优化模型 - 牺牲一定开发便利性,换取跨平台性能 3、混合部署策略: - 高端设备:PyTorch Mobile/TFLite提供完整功能 - 中端设备:ONNX Runtime配合量化模型 - 低端设备:ncnn等超轻量框架运行特别优化的模型 综合来看,没有完美的"一站式"解决方案,但ONNX生态系统结合特定优化工具链,是目前覆盖范围最广的方案。
一个比较宽泛的问题。对于大龄程序员来说,是转AI Infra呢,还是继续做AI应用?
对大龄程序员而言,AI Infra和AI应用并非非此即彼的选择,而应基于个人优势和市场需求做出决策: 如果有系统底层或分布式系统经验,转AI Infra可能更有优势,尤其是在可靠性工程、性能优化方面; 如果有丰富的产品开发或业务理解,继续AI应用可能更有价值,特别是领域特定AI应用; 最佳定位可能是中间层:AI平台工程、MLOps、AI应用架构等连接基础设施和应用的角色; 降低风险策略:打造"T型"技能组合,一个方向深入,同时保持另一方向的理解。 大龄程序员的优势在于对技术完整生命周期的理解,而非单纯的开发速度。选择应该基于个人兴趣、现有技能和自我的价值主张,而非仅仅追随市场热点。
个人觉得现在的生成式AI有替代搜索引擎的势头,博主认为,AI会替换现在的传统搜索引擎的商业模式吗?
个人觉得,生成式AI不太可能完全替代传统搜索引擎的商业模式,而是会重塑信息获取的生态系统。搜索引擎正在整合AI功能,AI工具在增强检索能力,两种技术正走向"AI增强搜索"和"搜索增强AI"的双向融合。 短期内,广告模式仍是主导(搜索引擎最擅长),中期,可能出现混合模式——基础搜索免费+高级AI功能订阅,长期,可能形成新型的注意力经济模式。简单问答和综合类查询可能转向AI,需要多角度信息、最新信息和深度研究的查询仍依赖搜索,不同人群会采用不同的工具组合。 赢家最有可能是拥有海量数据和计算资源的科技巨头、能同时提供搜索+AI体验的平台,以及在特定垂直领域提供专业化AI+搜索解决方案的新玩家。
DeepSeek的“低成本”部署是否是伪命题?之前部署了个7b的模型,速度慢的一批,感觉没法用呀。
DeepSeek 的“低成本”部署并非伪命题,但效果取决于硬件和配置。7B 模型在低端硬件上速度慢是正常现象,因为“低成本”指的是硬件门槛低,而非保证高性能。 “显存够大能跑起来”和“速度够快能用起来”是两个不同的方面。
我在使用r1的时候,最怕的就是幻觉问题,感觉他太过发散,我之前试过让它把我写的问题进行分类,这么一个简单的需求得到的内容却发现它把一个问题重复归纳到了几类,而且过于发散进行了不现实的扩展。包括之前让它生成一些问答,都特别的假,不像是人类会说出来的,这个比较头疼。
幻觉是目前大模型实用性的关键障碍之一。用户需要的往往是工具而非创意伙伴,但模型却在"创造性"和"帮助性"之间摇摆。解决方案可能包括:提示词工程或增加额外约束来控制输出。 另一个有效的办法可能是将任务分解成更小、更明确的子任务,并为每个子任务设定明确的评判标准,而不是让AI一次完成复杂任务。这符合"窄任务会得到窄答案"的原则。
本月初,陈光教授出版了新书《DeepSeek 全攻略》,本书以通俗易懂的问答形式,带你零基础入门 DeepSeek,揭秘其智能内核与技术优势,探索办公、教育、医疗等领域的无限应用。从理性认识 DeepSeek 的能力边界,到掌握提示词优化的实战技巧,本书助你快速上手,玩转 DeepSeek,在 AI 时代抢占先机!
京东购买地址: https://item.jd.com/14396069.html
购买地址:
DeepSeek 的横空出世,就像一块巨石被投入国内 AI 行业这潭平静的湖水,激起了千层浪,彻底搅动了原有的格局。如果说之前的国内 AI 行业还是一汪相对平静的池塘,那么 DeepSeek 的出现就仿佛引爆了一场 AI 海啸,其影响之深远,波及范围之广阔,都远超人们的想象。
但随之而来的,是公众对 DeepSeek 的诸多疑问:
DeepSeek 到底是什么?
它从何而来?它为何能 “爆火”?
什么是 DeepSeek-R1 的 “满血版 “和 “蒸馏版”?
DeepSeek 的 " 低成本 “优势是如何实现的?
DeepSeek 能在本地部署吗?
DeepSeek 采用了哪些独特的技术?让它如此高性能?
和 DeepSeek 对话有什么 “话术” 吗?
面对等等这些疑问,我们需要一本通俗易懂、深入浅出的科普读物来拨开迷雾,揭示 DeepSeek 的真相,帮助我们更好地理解这项技术,理性地拥抱 AI 时代。这便是陈光教授撰写 《DeepSeek 全攻略》的初衷。
↓分享、在看与点赞~Orz
热门跟贴