悬崖边的抉择:刘童璇与xLLM的国产AI Infra“破冰”之旅

温故智新AIGC实验室

TL;DR:

刘童璇,一位年轻而富有远见的AI基础设施创新者,在海外技术垄断的“悬崖边”毅然选择了一条“难而正确”的国产化道路。他带领一支平均年龄不到30岁的“95后”团队,打造了xLLM这一大模型推理引擎,不仅在技术上实现了对国际顶尖框架的超越,更以其深远的行业影响和对国家战略的积极响应,展现了中国年轻一代技术人的雄心与担当。

在数字时代的洪流中,人工智能基础设施(AI Infra)无疑是驱动一切智能应用的核心“水电煤”。然而,长期以来,这片关键领域的技术版图,如同被一道无形的壁垒笼罩,核心技术的主导权牢牢掌握在vLLM、TensorRT-LLM等海外框架手中。直到今年8月,一个名为xLLM的国产大模型推理引擎横空出世,如同在沉寂已久的水面上投下了一颗石子,激起了阵阵涟漪。

我们约见了xLLM社区的负责人刘童璇。北京初冬的午后,阳光透过窗户洒在他年轻的面庞上,映衬着他眼中那份与年龄不符的沉稳与锐气。他身着一件深色夹克,言谈间充满逻辑却又不失真诚。他的故事,是从一个技术路口的“悬崖边”开始的。

技术突破的背后

“当时,我们面前是两条截然不同的道路。”刘童璇回忆道,目光坚定如炬。1 一条是沿着vLLM、Sglang等成熟开源框架的既定轨道进行局部优化;另一条,则是选择挺进“无人区”,从零开始,为国产芯片打造一个专属的、能够与国际顶尖水平抗衡的“动力引擎”。这并非一个轻松的抉择,因为后者意味着需要巨大的投入和无数未知挑战。

“打造一款对标国际顶尖水平的推理引擎,最大的挑战在于技术路径的选择,”刘童璇坦言,“是继续在开源框架上做局部优化,还是彻底从头构建?”1 最终,团队选择了那条“难而正确”的道路。这条道路不仅是对技术实力的考验,更是对中国技术人独立创新精神的宣言。

xLLM并非简单的跟随者,而是积极的开创者。它不仅支持大模型和多模态模型,更将能力拓展至生成式推荐、文生图、文生视频等更广泛、更复杂的AIGC场景。1 这与当前行业广泛采用、主要聚焦大语言模型与多模态场景的vLLM形成了鲜明对比。2 最为关键的是,xLLM对多种国产芯片的全面兼容与深度性能优化,尤其在昇腾等国产硬件上的性能表现,显著优于vLLM-ascend等开源适配方案。1 甚至有公开对比数据显示,在同级GPU上,xLLM在MoE、Text-to-Image、Text-to-Video三类任务的P99延迟均低于20ms,较vLLM平均下降42%,吞吐量也表现出色。3 此外,它还进一步开源了大模型服务端的关键组件,如全局请求调度、动态PD分离等,实现了从推理引擎到上层推理服务的更完整技术栈闭环,这无疑是构建国产AI基础设施的重要一步。

更令人振奋的是,扛起这一重任的,是一支平均年龄不到30岁的年轻团队。这群“95后”工程师凭着初生牛犊的锐气直面挑战。“一群平均工作年限仅两三年的年轻人,就靠着一股不服输的冲劲,硬是把核心引擎搭建了出来。”言谈之间,刘童璇的自豪之情溢于言表。1 这份纯粹而坚韧的青年力量,正是中国科技创新最宝贵的财富。

经过近一年的潜心研发,xLLM的成果于8月底在GitHub正式亮相。出乎团队预料,xLLM开源后迅速引发社区热烈反响。“远超预期!我们本打算长期打磨,但大模型热潮让xLLM获得了前所未有的关注。”刘童璇坦言惊喜之余更感责任重大,“它还不够完美,架构设计、易用性都有很大的提升空间。”1 这份清醒的自省,也让我们看到了他作为一名技术负责人的务实与远见。

拓荒者的心路与视野

当杭州的计算中心率先部署xLLM,在AI基础设施这片关键的战场,xLLM如同一面猎猎作响的旗帜,插在了《国务院关于深入实施“人工智能+”行动的意见》的政策高地上。这份2025年发布的11号文件明确提出“加快研究更加高效的模型训练和推理方法”,而xLLM正是对这一国家战略最生动的技术响应。1

对刘童璇而言,技术不再仅仅是冰冷的代码与参数,更是服务国计民生、解决实际问题的力量。最令团队振奋的,是xLLM技术落地所展现出的深度与广度。“我们在一次技术沙龙上得知,已有用户将xLLM部署到远在新疆的电站,运行在国产化一体机中,”刘童璇感慨,“当技术真正走进田间地头,服务国计民生,那种价值感无可替代。”1 这份来自西北边陲的反馈,无疑是对团队创新最好的褒奖,也深刻触动了刘童璇内心深处的情感。它让抽象的技术拥有了具体的温度,让宏大的愿景变成了可触摸的现实。

从“卡脖子”清单到技术攻坚的“加速器”,刘童璇和他的团队所做的,远不止于填补生态空白,更在于重塑中国在全球AI领域的角色。“xLLM正将‘卡脖子’清单转化为技术攻坚的‘加速器’。”刘童璇总结道。1 这支年轻团队承载的不仅是技术参数层面的突破,更象征着中国年轻工程师从技术追随者向标准制定者的身份蜕变。

对未来的预判

面向未来一年,xLLM已规划清晰的路线图。刘童璇提到了三个关键发力点:

  • 场景纵深: 重点突破文生视频、生成式推荐系统等复杂生成式场景,持续拓展xLLM的应用边界。
  • 模型联盟: 深化与国产大模型厂商的合作,建立快速响应机制,紧跟模型演进前沿,形成协同效应。
  • 芯片协同: 与国内芯片企业深度联动,针对国产硬件特性进行极致优化,确保xLLM在国产算力上的领先地位。1

最终,他们的愿景是逐步将xLLM锻造为数据中心级别的“智能操作系统”,以“AI for System”为理念,构建驱动未来的智能化超级大脑。这不仅是对技术的极致追求,更是对未来计算范式的深刻思考。

当xLLM的代码在GitHub上流淌,当新疆电站的控制系统因它而更高效运转,刘童璇和这支年轻的团队,正用他们敲出的每个字符,为“人工智能+”的国家战略注入鲜活的注脚。他们不仅是技术的革新者,更是时代精神的践行者,他们的故事,预示着中国AI基础设施未来的无限可能。

引用


  1. 做难而正确的AI Infra创新——专访国产大模型推理引擎xLLM社区负责人刘童璇·InfoQ·(2023/12/12)·检索日期2023/12/12 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. xLLM 社区重磅首秀,揭秘大模型推理全景图与开源AI Infra 生态·gitcode.csdn.net·(2023/12/12)·检索日期2023/12/12 ↩︎

  3. xLLM社区重磅首秀,揭秘大模型推理全景图与开源AI Infra生态 - AI在线·AI在线·(2023/12/12)·检索日期2023/12/12 ↩︎