腾讯游戏数据团队推出全新智能数据助手Deltaverse UData，引领数据分析新风潮
数据智能引领未来，Deltaverse UData助您掌握新时代数据分析趋势！
数界探索
在2024年12月7日的StarRocksSummit2024上，腾讯游戏数据团队孵化打造的数据品牌“Deltaverse”正式发布，并推出了品牌旗下的首个数据产品——大数据时代的智能数据助手“UData”。在峰会现场，腾讯游戏数据的技术负责人、资深专家工程师刘岩发表了题为《AI时代的湖仓数据体系建设》的演讲，分享了腾讯游戏在「AI湖仓」方面的实践经验，以及UData如何助力腾讯游戏业务提升数据处理效率。
腾讯游戏数据负责人刘岩在StarRocks Summit发表主题演讲
作为一款基于大语言模型技术和湖仓一体架构设计的问答式智能AI数据助手，UData依托新一代AI数据资产体系的支持，使得数据能够被AI有效理解和利用。这不仅提升了从业务需求到数据交付的准确性，还为用户提供了通过自然语言进行数据查询、探索、分析和可视化的便捷途径。
据刘岩介绍，UData平台已在腾讯游戏内部超过80个业务中得到广泛应用，显著提升了SQL代码编写效率，达到了300%的增长。尤其令人关注的是，在交付准确率方面，UData实现了高达89%的一次性准确率，这已经完全满足了实际业务场景的需求。 从这个报道中可以看出，UData不仅在提升工作效率方面发挥了重要作用，而且在保证高质量交付方面也取得了显著成效。这表明，随着技术的进步和工具的应用，企业能够更加高效地处理复杂的业务需求，并且能够在确保质量的同时实现更高的生产力。这对于游戏行业来说尤为重要，因为快速迭代和高质量的产品是吸引用户的关键因素之一。此外，这也展示了技术工具对于推动企业数字化转型的重要性。
UData产品界面
腾讯游戏现有的业务每年有数万个数据挖掘和数据提取类需求，与商业智能（BI）场景相比，数据挖掘需要处理数万甚至数十万张表，这些表必须能够让AI理解，并且达到人类水平的准确率，才能满足实际业务的需求。刘岩表示：“我们一直在探索如何更好地利用AI能力来提升数据工作的效率，让AI真正应用于实际业务场景中，使数据智能（DataAI）成为企业的核心竞争力。UData是腾讯游戏数据团队内部的最佳实践，解决了构建‘DataAI’体系的关键问题。” 我的看法：这段新闻强调了在大数据时代，企业如何通过引入AI技术来提高数据处理和分析的能力，从而提升业务运营的效率和质量。腾讯游戏通过UData项目展示了一条可行的道路，即通过优化数据管理和分析流程，实现AI与业务场景的有效融合，这不仅提升了数据处理的精度，也为企业带来了竞争优势。未来，随着AI技术的不断进步和应用场景的拓展，数据智能将成为更多企业追求的核心竞争力之一。
提升AI交付准确率的关键：需求构造和资产建设
在腾讯游戏数据团队经过大量实践和研究分析后发现，在企业的实际业务场景中，AI编写SQL的准确率不高的原因，并非主要是由于大模型的能力不足，而是因为两个关键因素：首先，AI对数据需求的理解存在偏差；其次，AI对数据资产的理解也有误，这导致大模型未能获取到完整的信息。
针对这两个问题，UData的技术路径着重于需求构建和资产管理两大方向，通过工程化的方法来提高AI的精度。
在需求构建过程中，首先需要制定一套既能被AI也能被人类理解的需求标准。根据这套标准，我们可以匹配相关的案例和行业知识，将用户提出的需求重新格式化为标准化的需求描述，以减少AI对需求理解的歧义。另外，面对较为复杂的数据需求时，需求代理可以将这些复杂的任务拆解为一系列简单的子任务，从而降低AI生成内容的难度。通过这种工程化的处理方法，将这些子任务组合起来，形成最终的结果，以确保交付质量和过程的稳定性与可控性。
UData需求构造流程
举例来说，当用户提出需求：统计游戏内各个玩法、按照每天的参与率排名+次日留存排名+七日留存排名，算一个总排名。UData会去查询相应的游戏领域知识，将这个复杂需求分拆为4个子需求，分别计算并生成参与率、活跃用户、玩法参与率、次日和七留的SQL，最后将4个数据包SQL结果合并，生成一个最终的SQL。
在资产建设方面，为了使AI能够更好地理解和利用资产，UData构建了“AI驱动的数据资产体系”。传统的资产体系由于缺乏统一的非结构化标准、建设速度滞后于业务需求以及高昂的治理成本等问题，无法支持大语言模型实现快速且准确的数据需求响应。因此，基于“新一代AI数据资产”的理念，UData设定了以AI能够理解并准确执行SQL命令，从而实现自助式数据交付为目标，并定义了语义层建模规范，涵盖行业知识、指标、维度、特征和元数据等方面。AI通过理解这些语义资产，可以针对不同需求采取不同的资产使用策略；对于已有指标和维度的需求，可以通过推荐现有看板来满足；对于新指标或新维度的需求，则可通过特征资产让AI自动生成指标和维度来满足；而对于缺乏相应语义资产的需求，AI能感知并发出预警，在补充相关特征等语义资产后，实现AI驱动的数据资产交付。
传统数据中台到新一代AI数据资产的升级
“新一代AI数据资产”能够构建起业务需求、行业知识与数据结构三者间的紧密联系，通过领域模型实现知识的积累与智能推荐，确保这些资产可以被AI系统高效地理解和利用。 这一创新举措不仅提高了数据资产的价值，也极大地提升了AI系统的智能化水平。通过精准匹配业务需求与行业知识，AI能够更准确地识别和处理信息，为决策提供有力支持。同时，这种模式也为跨行业的知识迁移提供了可能，促进了不同领域间的知识融合与应用。此外，标准化的数据结构使得AI在处理信息时更加得心应手，进一步增强了数据分析的效率与准确性。
“稳定可控的需求构造和AI可理解的资产体系，是UData提升AI交付准确率的关键，也是UData相较于行业其他产品的差异化优势。”腾讯游戏数据技术负责人刘岩表示：“从目前腾讯游戏内部的应用情况来看，准确率已经能够稳定在89%，我们坚信这个方向是靠谱的。”
基于湖仓一体能力，实现智能动态的计算加速
为了能够支持对实时的明细数据进行探索和分析，仅仅把SQL写对是不够的。传统的数仓架构（例如：Lambda）大量计算是T1离线进行的，无法满足所有数据的实时快速查询需求。因此，UData对数据底座进行了升级，采用湖仓一体的架构，通过数据实时接入、虚拟数仓、冷热分层等技术实现对实时明细数据的高效查询。同时，UData构建了一个成本效率优化引擎，从资产热度、执行速度、数据量级三个维度快速识别需要优化加速的资产，并通过资产整合、物化视图等方式确保数据能以较低的成本实现高效利用。 这种创新的数据处理方式不仅提升了数据分析的速度和灵活性，也大大降低了企业的运营成本。特别是对于那些需要实时监控市场动态或用户行为的企业来说，UData提供的解决方案无疑是一个巨大的进步。它使企业能够更快地做出决策，从而在激烈的市场竞争中占据有利位置。此外，通过优化数据存储和查询策略，UData还帮助企业解决了传统数据仓库难以应对大规模数据量的问题，使得企业在面对海量数据时也能保持高效的处理能力。总的来说，UData的这些改进措施为企业提供了一个更加灵活、高效且经济的数据管理平台。
基于大模型能力，建设可持续优化的运营平台
以新一代AI数据资产为基础，通过通用大模型、领域模型、Agent多智体架构，AI能力得到了更充分的发挥。 在当前技术迅速发展的背景下，这种融合多种AI模型的方法不仅极大地提高了人工智能系统的灵活性和适应性，也进一步推动了智能化应用的广泛落地。尤其值得注意的是，Agent多智体架构的引入，使得AI系统能够更好地模拟人类社会中的协作模式，从而在处理复杂任务时展现出更强的协同能力和更高的效率。这样的技术进步无疑为各行各业带来了前所未有的机遇，同时也对如何合理、安全地使用这些新技术提出了新的挑战。随着AI技术的不断成熟，我们期待看到更多创新的应用场景出现，同时也需要关注其可能带来的伦理和社会问题，确保科技发展成果能够惠及更广泛的人群。
目前，UData不仅兼容包括GPT和混元在内的多种主流大模型，还特别针对不同行业的专业知识和企业内部知识，引入了“领域模型”。通过运用知识图谱、语义理解和检索排序等技术手段，UData助力这些大模型更深入地理解和利用数据资源。
UData系统架构
在平台应用流程方面，UData使用Agent多智能体架构，打造了一个人与AI高度协同工作、可持续优化的运营平台。将一个Job(工作)分解成若干的Task(任务)，在某些Task上由AI完成，某些Task人与AI协同完成(需求协同、验收协同)，覆盖从业务需求到数据交付的全链路，各节点Agent可与用户实时交互，及时感知问题并进行干预和修正，确保系统的可持续优化。
AI多智能体架构
让AI重构数据工作的各个领域
UData已在腾讯游戏内部超过80个业务中得到应用，涵盖MOBA、MMORPG、战术竞技等多种类型的游戏。根据具体业务的个性化需求，UData持续对产品进行迭代升级。
除了游戏业务之外，UData的产品能力还可以应用于其他行业，如餐饮、金融和教育等，帮助传统企业实现AI数字化转型，提高数据处理效率，并通过新一代AI数据资产提升数据治理的投资回报率（ROI），从而帮助企业降低成本并提高效率。
AI技术在数据处理方面仍具有巨大的发展潜力，腾讯游戏数据团队Deltaverse也在持续探索这一领域。除了利用AI生成SQL语句以提高数据获取效率外，我们还致力于将“AI湖仓一体”的能力与更多工具和系统进行整合，进一步发掘AI的潜力，力求通过AI技术重构数据工作的各个方面。
对于对腾讯游戏数据团队的Deltaverse、UData以及数据技术感兴趣的企事业单位与合作伙伴，可访问Deltaverse官方网站www.deltaverse.net获取更多详情，并免费申请产品试用。