DSPy下篇:兼论o1、Inference-time Compute和Reasoning


浮言易逝,唯有文字长存。
(今天继续聊聊AI技术)

约两周前,我用两篇文章介绍了DSPy的原理:

今天是第三篇,算是来完结一下这个话题。虽然DSPy在实用性上还存在非常多挑战,但是它的设计思想非常超前,也非常有意思。因此,现在我们结合AI领域的一些重要概念,做个思考总结。

阅读全文 »


浅谈DSPy和自动化提示词工程(中)


一张琴,一壶酒,一溪云。

书接上回,接着写点技术

在上一篇文章《浅谈DSPy和自动化提示词工程(上)》中,我们解析了一个典型DSPy优化程序的骨架代码。本篇我们继续分析两个遗留的关键问题:

  • 从Signature到Prompt的过程。
  • MIPROv2的具体实现。

阅读全文 »


浅谈DSPy和自动化提示词工程(上)


隙中驹,石中火,梦中身。

周末不卷,忙里偷闲,写点技术

如何与大模型有效地沟通,是一门艺术。

阅读全文 »


科普一下:拆解LLM背后的概率学原理


当我开车载着全家人做长途旅行时,为了打发时间,我们有时候会玩起「成语接龙」的游戏,类似这样:

海阔天空
空前绝后
后发制人
人山人海

阅读全文 »


从韦小宝谈起:道德底线与普通人的善恶观


前段时间,终于把《鹿鼎记》读完了。全书很长,个人时间又不固定,所以断断续续地读了好几个月。如果依照年轻时的个人好恶,我大概不会翻开这本书。记得小时候,武侠电视剧深受我和小伙伴们的喜爱,不管是《神雕侠侣》、《射雕英雄传》还是《天龙八部》,总能让人看得津津有味。唯独《鹿鼎记》在电视上播放的时候,真是提不起什么兴趣。满身都是毛病、武功又差的韦小宝,哪里比得上杨过、郭靖、萧峰诸位大侠的快意恩仇和家国情怀!

阅读全文 »


从GraphRAG看信息的重新组织


GraphRAG俨然已经成为了一种新的技术路线;虽然类似的技术还有很多不成熟的地方。前几天发现,学术界已经有关于GraphRAG的综述出现了[1],链接在文末,供大家参考。

不过今天我们要讨论的重点不是这个。我想跟大家聊一聊:沿着GraphRAG的思路,在LLM的时代,信息可能以什么样的方式被重新组织?

阅读全文 »


技术变迁中的变与不变:如何更快地生成token?


未来何时到来,取决于我们能以多快的速度生成 token。

随着GenAI的发展,我们迎来了一个崭新的技术时代。然而,由于LLM庞大的参数规模,在现代的AI系统中,LLM的推理 (inference) 性能就成为一个格外重要的技术问题。提升LLM推理的性能,更快地生成token,同时也意味着运营成本的降低。

阅读全文 »


企业AI智能体、数字化与行业分工


在基础模型之上构建AI智能体 (AI Agent[1]) ,是过去大半年来非常引人注目的话题;甚至有人把AI智能体称为大模型领域的下半场。今天,我们把目光锁定在企业内部,针对B端落地场景探讨一下AI智能体可能存在的一些形态。

阅读全文 »