白话科普:Transformer和注意力机制


Transformer[1]是一个划时代的发明。可以说,它奠定了现代大语言模型 (LLM) 的基础。要想深入一点理解当代AI的发展,Transformer是绕不过去的一个概念。因此,本文试图做一个深入浅出的科普,希望任何一名软件工程师都能够看懂。

阅读全文 »


对于2024年初的大模型,我们期待什么?


2023年是AIGC的“宇宙大爆发”之年。大模型 (LLM) 相关的技术经历了飞速发展,迭代速度之快,到了令人眼花缭乱的地步。

简单总结下国内的情况:2023年上半年,算法专家们比拼的是谁先把模型训练出来;到了2023年过半的时候,人们开始追求模型的参数规模,百亿参数只能算是起步。而当人们开始着手基于大模型构建AI应用时,RAG和Agent技术便先后获得了极高的关注。

阅读全文 »


内卷、汉明问题与认知迭代


这是一个内卷化严重的时代。

阅读全文 »


谈谈业务开发中的抽象思维


在两年前的文章中《在技术和业务中保持平衡》,我把技术人员的开发工作归成了两类:「业务开发」和「专业技术开发」。今天,我们再回过头来仔细审视一下其中的「业务开发」工作,聊一聊这类工作中所需要的抽象思维能力是怎样的,以及怎么培养这些能力。

阅读全文 »


分布式领域最重要的一篇论文,到底讲了什么?


正在阅读本文的读者们,可能之前已经读过了我写的有关线性一致性、顺序一致性以及因果一致性的分析文章。这些一致性模型的关键在于,它们定义了一个系统在分布式环境下对于读写操作的某种排序规则。

阅读全文 »


条分缕析分布式:因果一致性和相对论时空


在上一篇文章《条分缕析分布式:浅析强弱一致性》中,我们重点讨论了顺序一致性、线性一致性和最终一致性这几个概念。本文我们将继续深入,详细探讨另一种一致性模型——因果一致性,并在这个过程中逐步逼近分布式系统最深层的事件排序的本质。沿着这个方向,如果我们走得稍微再远一点,就会触达我们所生活的这个宇宙的时空本质,以及因果律的本质(这才是真正有意思的地方,希望你能一口气读到最后)。

回到现实,《Designing Data-Intensive Applications》[1]一书的作者在他的书中提到,基于因果一致性构建分布式数据库系统,是未来一个非常有前景的研究方向。而且,估计很少有人注意到,我们经常使用的ZooKeeper,其实就在session维度上提供了因果一致性的保证[2]。理解「因果一致性」的概念,有助于我们对于分布式系统的认识更进一层。

阅读全文 »


条分缕析分布式:浅析强弱一致性


当前这篇文章至少比计划拖后了两个月。在上一篇文章《条分缕析分布式:到底什么是一致性?》中,我们仔细辨析了「一致性」相关的几个容易混淆的概念。而在本文中,我们会沿着逐步深入的思路,跟大家继续讨论顺序一致性、线性一致性、最终一致性等几个概念。

阅读全文 »


条分缕析分布式:到底什么是一致性?


凡是做服务器开发的技术同学,估计都对分布式系统以及相关的理论感兴趣。而对于分布式理论,大家讨论的最多的恐怕就是「分布式一致性」问题了。然而,不管是学术界还是业界的发展历史上,对于「一致性」这个概念的理解,始终充满了混乱。

阅读全文 »