以下是阿里云智能集团 自然资源行业资深产品经理 陈怡星 在云宇星空 擘画未来 | 上海量子城市时空创新基地开启日 的精彩发言,由云现场整理。
非常感谢大家,今天有机会在这个地方跟大家分享一年以来对于星空云宇大模型的构建和设想。
首先讲一下对于背景的认识,刚才在门口有很多人在问我,能不能解释一下现在你们在做的量子城市跟原来我们说数字孪生之间的差别是什么?当然也有很多人在问我,你们这个模型为什么要叫时空大模型?“时空”的含义是什么?我也希望能够给大家一个简单的解释。
理解今天什么叫量子城市的时候要理解一下时代的背景,整个世界范围来看,我们也知道虽然自然资源是国家法定空间数据的生产者,所以在过去很多城市,中国的很多城市,不管是熊安、北京、深圳,很多城市都做了数字孪生的底座。但是今天我们会发现时代已经发生了翻天覆地的变化,首先世界范围内来看,人工智能的发展是日新月异的,从50年代开始,我们的人工智能机器学习已经开始发展了。到今天,我们到2017年预训练大模型进入到我们的事业里。从2017年之后会发现大模型的技术迭代不是10年的迭代,是每年都会有迭代,甚至到近一年内我们发现技术更新以季度,甚至以月为更新周期的。
2018年开始,我们首先是ChatGPT让我们知道了有大语言模型。很快,视觉模型、多模态模型进入到了我们的视线里,从以文本为核心的模型转变为图像加进来了,视频加进来了,我们开始有视觉的概念。从去年开始,不管是Sora的发布,还是李飞飞的word lab,视觉模型进入到整个视觉模型的体系里。李飞飞一句话能够鲜明概括出人工智能领域是任何人士的,她说空间智能是机器在3D的时空中感知推理和行动能力。那么AI的发展不会局限于文本或图像的理解,它必须能够理解三维世界,并且能够在社会环境中进行一个互动。我们可以看到时空这个概念在人工智能发展中越来越重要。
中国和上海的发展可以看到整个国家在积极布局人工智能的发展。2023年开始发改委发布了中国人工智能行动方略,提出了全国五大人工智能基地,上海是其中非常重要的环节。上海自身也是从去年开始紧锣密鼓在做各方面的部署,不管算力还是整体规划方面的考量,现在已经形成了“1+4”整体的架构。从一个底座,未来大模型训练的底座。上面可以看到重点一些领域,覆盖了从微观产业自动驾驶、具身智能,包括一些智慧医疗,也包括宏观整体的城市空间的治理。可以说空间领域在整个上海部署当中是非常重要的一环。
在这样一个背景下我们再来看如何理解在人工智能背景下的数字孪生。我们认为今天我们在说到数字孪生绝不仅仅是说我们把二三维的时空数据汇集起来,给大家看到一个可视化的数字孪生。更重要是说怎么能够和今天人工智能这样一个背景相结合,来实现一个可计算和可交互的镜像孪生的数字体系。
今天解释量子体系,过去说静态还原和动静融合的SIM,那个才叫数字孪生的话,那么今天量子城市起码由两个构成的,一个是数字孪生,还有一个就是实现分析推演、实时控制,以及未来更长远的数实融合的AI大模型平台,这就是我们对量子城市从技术底层上的理解。
未来如何构建量子城市的平台呢?首先来看一下,这是刚才在前面演讲当中也已经说到整个太和殿量子城市的构架,九层之台,始于累土,未来这样一个量子城市的平台再把时空数据汇聚起来,首先我们要基于主客的对象,主体的对象包括各种类型的人类以及各种安全、居住、就业、服务的需求。客体对象是空间,建筑、城镇、就业,包括各种市政空间,这都是主客对象。所有的主客对象都会通过空间一码贯通,实现多模态的数据以及多语态数据的融合,这是数据层面。同时在算力和算法层面,会基于云宇星空大模型,来构建感知、生成、基因、营造、预警评估等一系列时空分析和计算的能力。
具体来讲,把它总结成三个主要的部分:
第一,基于大模型的建设,怎么样建设一个时空数据的“米料库”,待会儿和大家解释一下什么叫“米料库”。
第二,在此基础上训练九章算术的“兵器谱”。
第三,搭建一个共创共享的“训练场”。
第一,首先说数据的部分。我们大家都知道语料是大模型建设非常重要的基础,语料的质量决定了你可以训练一个什么样的大模型,以及本身大模型应用的精度。今天来说,为什么我们要叫“米料”?过去说大语言模型主要的语料基础是无标注的文本和各种问答。视觉和多模态 更多是图像,到世界模型三个技术路线里边核心是什么?尤其我们说word lab的技术路线核心是三维空间,以及在三维空间当中各种空间对象的物理形状的描述以及它发生的各种事件,这构成了我们现在说的这样一个语料。
我们可以看到,实际上空间的概念已经成为语料的核心,我们“语料”这个词过去更多面对大语言模型,今天语料是每平方米和每立方米基于空间对象知识的汇聚,以空间对象为核心的知识,这是工作营内大家经常说起的,更有助于大家理解在这样一个时空大模型语料形态是什么。
具体来讲怎么去建设它呢?首先要基于现在的时空数据生成一个一个的孪生空间体。孪生空间体,这边有一个结构的图,大家可以看到既包括主体对象,也包括客体对象。主体对象里包括自然人、法人、动物和交通工具等等一系列可行动的个体。客体对象包括九阴和九阳。所有的孪生空间体我们都会赋予它一个身份,26位统一编码,刚才奚主任已经说到,它是每一个对象的唯一身份证,以帮助我们把不同的业务数据以及空间对象进行贯通和串联。
具体建设每一个对象的时候,在输入侧会有多模态的数据进行一个汇聚。我们会把整个自然资源1TB左右的矢量数据,百万的轨迹数据,包括实景三维的1TB数据,20多TB的数据,以及点云数据和网格数据,都作为我们的空间数据去进行导入,描绘整个孪生对象的空间形态和各种空间性状。基于大模型的训练,还会把各种非空间数据,就是关于空间对象的文本知识,大概10万+的文本知识,以及视频流的数据、音频的数据和几万张表单数据进行导入和转换,尤其是文本数据的空间化,从文本当中提取空间的信息和知识,共同形成构建一个孪生对象的数据集。
中间会实现多时态数据的融合,这里每一个空间体都会有“空行量质连”,也就是它的时空属性、集合属性、规模属性、品质属性、关系属性和动态属性,这六个方面大概200多项指标去描述它,同时所有的指标都会有历史态、现实态、规划态、建设态和运行态。最后输出的时候,我们也会按照对公众开放、对部门开放、对行业开放去进行语料安全的管理。
在这个基础之上,我们进一步去生产,面对不同的模型训练所需要的图文对、问答对、样本集,以及文本库、案例库、场景库,以支持未来不同大模型训练的需求。这就构成了整体米料库建设的体系。
在这基础上建设九章算术,什么是九章算术?就是城市的营造法式,营造法式包括空间数据构成的标准,也包括过去营造的规则,甚至对未来时空推演的规则。只不过过去是沉淀在文本上,沉淀在各种规范上,我们把它叫做“术”,我们城市营造的一些基本规则。我们现在要转变为电子化的算法,就是由“术”变成了“器”,构成我们城市巨系统的算法体系,在这里面我们定义了六项核心的时空能力,后面我会逐一给大家进行解释。
第一,感知生成的能力,这是整个量子城市现实时空的孪生构建之法,在这里边既包括基于遥感、BIM自动生成、遥感自动识别,以及实景三维生成的静态空间还原的算法。也包括轨迹生成、视频事件理解等动态要素还原的算法。动态要素都进行算法还原之后,还有从时空融合、编码融合、语义融合和地质融合等不同的融合算法集成之后生成的孪生体。这是整个孪生空间体生成的算法集。
第二,数据有了之后要从数据当中提取基因,也就是整个城市营造的基因营造的算法。这是量子城市未来时空的方案生成之法。一方面要从海量的(除了上海)其他城市以及历史资料的优秀案例当中提取和生成时空基因的样本库和空间单元的米料池,累积上海时空发展的基因样本,这些基因样本都会成为未来构建新方案的基础,第二个能力就是基因重构能力,这里会充分运用参数化建模等能力,共同推动自动化方案生成的能力。这里规划未来不会再沉浸于大规模排房子的体力劳动,更多是制定规则,发挥想象力和创造力。
第三,时空的评估和预警规则算法能力。这是我们量子城市时空的质量评估之法,在这里面,我们会实现指标智能的设计和生成,以及各种指标数据的随机计算,以及基于指标深度的分析和评估能力,以及最后报告各种评估报告的智能生成能力,帮助业务人员更好的进行数据的挖掘,以及对城市的深度评估和分析。
第四,仿真和推演之法,当我们发现城市的问题之后,能够对城市进行方案的规划,但是这些方案对未来到底会产生什么样的影响?这就是量子城市未来空间的推演和预测之法。这里会基于微观仿真和宏观仿真实现跨领域的模型融合。过去很多的专业小模型,比方说有人流仿真、交通仿真、水资源的仿真,实际上跨这些模型的城市巨系统仿真是没有的,大模型的agent能力为我们提供了这样一种可能性,未来会集成更多的模型实现一个跨领域的方案,当我们的方案发生变化的时候,它就可以对交通,对水资源,对各方面进行综合的评价。
第五,赋能估值之法。是量子时空的估值换方之法,随着城市的发展,城市的功能也在不断迭代,好像是商业的功能,过去我们认为需要很大的量,随着线上的购物,会发现商业空间的需求越来越少。怎么去应对时代的更替呢?需要对到底城市有多少功能需求?城市哪些地需要进行功能更新,进行识别,以及不同地块的价值进行判断,这就是我们叫做“估值换方”之法,是对城市功能重新定位选择以及估值能力。
第六,城市运行治理,这个方面时空的算法,它是量子城市时空以粗促实之法,也就是说我们在虚拟城市当中形成了不同的方案,并且把它反馈到实体空间当中。微观可以运用到自动驾驶,包括具身智能,机器人对于真实空间的反馈,在宏观可以应用于各种应急,包括城市交通管理当中信号灯的控制,内涝水泵的抽取,水务的控制等等,是对空间推理、空间互动的这样一个能力。
共同构成了九章算术,在米料和基础算法能力之上我们认为构建共创、共享的平台,这个平台里面我们会提供一系列的工具链,这里面包括数据生成的工具链,知识生成的工具链,以及算法生成的工具链,我们也希望未来有更多不同的团队,比方说我们可能有特别擅长孪生体数据生成的团队,也会有特别擅长做米料图书馆知识生产的团队或者算法生产的团队,都可以到平台上来完成其中一部分的内容,不同业务单位甚至个人,都可以在这些数据资产、知识资产和算法资产共享基础之上搭建你所需要的一个应用的场景。最后会形成整个场景的创新。
未来的平台上面所有的资产是共创和共享的,能够激发更多生态在平台上进行整个量子城市的建设。
我们也基于这样一个平台产生了空基、星基、云基、宇基这样一些场景,这些场景有一些是规划自然资源局的业务,但是有更多是规划自然资源局把我们的空间能力贡献出去,跟其他部门共创的场景,推动整个城市时空治理的升级。
也希望未来能够有更多的人参与到量子城市的场景共创当中,谢谢大家!