豆包大模型家族翻新登场！全新视觉理解模型震撼发布
豆包大模型家族再升级！全新视觉智能模型引领新时代
数界探索
12月18日，2024年火山引擎FORCE原动力大会·冬在上海成功举行，火山引擎推出了豆包大模型家族的最新升级版本。自5月首次发布以来，豆包大模型的日均token使用量在12月已突破4万亿，相比发布初期增长超过了33倍。
火山引擎总裁 谭待
尽管调用量在规模化增长的过程中，豆包大模型在各个应用场景中也呈现出快速扩张的趋势，遍地开花。例如，在信息处理领域，过去三个月内豆包大模型的调用量激增了39倍，助力企业更高效地分析和处理内部及外部数据；在客服与销售领域，调用量增长了16倍，帮助公司更好地服务客户并拓展业务；在硬件终端领域，调用量增长了13倍，与此同时，AI工具的使用量也提升了9倍。
不断增长的调用量和多场景覆盖，使得豆包大模型日益完善，迎来了重磅升级。
豆包·视觉理解模型发布，拓宽大模型场景边界
视觉，人类理解世界的重要手段之一在于视觉理解。对于大模型而言，这一点同样适用。唯有具备强大的视觉理解能力，模型才能更好地处理现实世界中的信息，从而帮助人类完成各种复杂的任务。在本次大会上，正式推出了豆包·视觉理解模型，用户可以同时提交包含文本和图像的问题。该模型能够综合分析并提供精准的答案。此举将极大简化应用程序的开发过程，并释放更多大模型的应用场景潜力。
更高的内容解析能力：不仅能够识别图像中的物体类别、形状等基础元素，还能够理解物体间的相互关系、空间布局以及整个场景的意义。更强大的理解和推理能力：不仅能够精准识别内容，还能依据识别到的文字和图像信息进行复杂的逻辑分析。
更出色的视觉描绘能力：能够根据图像信息，更加细致地描述图像所呈现的内容，并且可以进行多种文体的创作。
豆包·视觉理解模型在教育、旅游、电商等场景中展现出了其强大的应用潜力。在教育领域，该模型能够有效辅助学生提升写作水平和科普知识的学习；在旅游领域，它可以帮助游客更好地理解和欣赏异国文化，比如通过识别外文菜单上的内容或解释照片中的历史建筑背景；在电商营销方面，它能助力商家更全面地展示商品特性，提高种草广告的效果。视觉理解能力不仅拓展了大模型的应用范围，还在金融、医疗、建筑、地理、体育、物流等行业展现出广阔的前景。 从技术发展的角度来看，豆包·视觉理解模型的出现标志着人工智能技术在感知智能层面迈上了新的台阶。它不仅提升了人机交互的自然度，也极大地丰富了应用场景的可能性。尤其在信息过载的时代背景下，这种能够快速准确提取视觉信息并转化为有用知识的技术显得尤为重要。未来，随着算法的不断优化和硬件性能的提升，我们有理由相信视觉理解模型将在更多领域发挥出更大的作用，成为推动社会进步的重要力量。
豆包·视觉理解的输入价格调整为每千tokens仅0.003元，相比行业平均水平降低了85%，意味着一元钱可以处理大约284张720P的图片，视觉理解模型正式迈入“厘”时代。同时，火山引擎还将提供更高的初始流量支持，RPM达到15,000次，TPM达到120万次，助力企业和开发者更好地应用视觉理解模型，探索更多创新应用场景。
豆包大模型家族再进化，豆包通用模型pro迭代新版本
在此次大会上，火山引擎不仅推出了视觉理解模型，还发布了多个其他模型并进行了升级。这使得大模型家族的成员更加多样化，大模型的能力也得到了进一步提升。
豆包通用模型Pro已推出新版迭代：相较于5月份，其综合任务处理能力提升了32%，其中推理能力提升了13%，指令遵循能力提升了9%，代码能力提升了58%，数学能力提升了43%，而在专业知识领域的表现也提升了54%。
豆包·音乐模型4.0正式推出：从“精彩片段”升级到“整首歌曲”的创作，能够完成包括引子、主歌、副歌、间奏及过渡段在内的3分钟完整曲目生成；即使对歌词进行局部调整，依然可以与原有的旋律完美契合；整首歌曲在风格、情感及音乐逻辑上保持统一，确保曲风的连贯性。
豆包·文生图模型2.1发布：支持“一键P图”，可以高精度指令理解，对中英文、专有名词“来者不拒”；高质量编辑效果，聚焦目标，不“误伤”原图；高效率创新模型，可实现多元风格，美观自然。支持“一键海报”，中文精准生成，高质量精准生成中文；图文精妙融合，字体与图片内容巧妙融合；极速海报生成，模型最快做到6秒出图。
veOmniverse豆包·3D生成模型正式发布，这款工具不仅支持高保真视觉渲染和大规模渲染算力池，还具备物理与传感精确模拟功能，并且拥有即开即用的3D编辑器。豆包·3D生成模型能够实现文本生成3D、图像生成3D以及多模态生成，能够在短短一分钟内生成高质量、高保真的3D资产，同时支持复杂物品和物品组合的大规模场景生成，并提供多模态3D资产编辑功能。 这款新产品的推出无疑为3D建模领域带来了革命性的变化。它极大地简化了3D资产创建的过程，使得非专业用户也能快速生成逼真的3D内容，这将极大促进游戏开发、虚拟现实和增强现实等领域的创新与发展。同时，高精度的物理和传感模拟能力也为科研和工业设计提供了新的可能性。
此外，豆包·视频生成模型将在2025年1月正式对外开放服务，用户可在火山引擎官网预约正式服务。
全域搜索、高效记忆为模型落地加速
为了帮助企业更好地应对信息获取和搜索推荐的挑战，火山引擎推出了全域AI搜索服务。这项服务通过提供一体化的场景化搜索推荐，帮助企业整合内部信息资源，并提供联网问答支持，从而将企业的信息、业务和用户需求紧密结合起来。这不仅有助于企业实现“发现更多，推荐更准，搜索无限可能”的目标，还为企业在数字化转型过程中提供了强有力的支持。 这项服务的推出对于众多企业来说无疑是一个福音。它不仅能够提高企业内部信息的利用率，还能通过智能化的搜索和推荐功能，提升用户体验，增强用户粘性。尤其在当前大数据和人工智能技术快速发展的背景下，火山引擎所提供的全域AI搜索服务，为企业在海量数据中精准定位所需信息提供了有效的解决方案，有助于企业在激烈的市场竞争中脱颖而出。
火山引擎AI搜推引擎基于基于豆包大模型家族的融合增强技术驱动；搜索推荐一体，有强大的推荐能力、结果精准、深度个性化；支持多模态，文本、图像、音频、视频全能理解；电商、信息检索、娱乐场景通通适用；性能强，支持百亿内容规模、超大规模吞吐、亳秒级检索。联网问答Agent基于抖音集团海量优质实时内容更丰富；秒级呈现，依据问题提供时效性热点答案更高效；图片、语音、文字等多模态可视化创新交互更创新，帮助企业实现全域信息一触即达。
火山引擎最新推出的大模型记忆方案，结合了先进的上下文缓存技术和RAG技术，旨在为用户提供更为高效的服务。该方案通过提升响应速度、降低使用成本，并确保更精准的输出效果，成功实现了亿级别记忆片段的管理。这一创新不仅有助于企业优化其内部系统，还为用户提供了更加流畅和便捷的交互体验。 在我看来，火山引擎的这一举措标志着大模型领域在智能化服务方面迈出了重要一步。通过引入记忆功能，不仅可以显著提高模型处理复杂任务的能力，还能更好地适应多样化的应用场景。这对于推动人工智能技术的发展与普及具有重要意义，同时也为企业和开发者提供了一个更为强大且灵活的工具，以应对日益增长的数据处理需求。随着技术的不断进步和完善，我们有理由相信，未来的大模型将会变得更加智能和高效。
扣子升级1.5版本，让AI离应用更近一步：
开发者生态系统日益成熟：已有超过100万活跃开发者，发布了超过200万个智能体。
一款创新的AI应用开发平台现已推出，该平台支持通过图形用户界面（GUI）构建应用界面，并能够实现从单一平台到多平台的一键式发布，涵盖小程序、H5页面以及API接口等多种形式。
增强的多模态功能：支持音视频交互，实现从输入到输出仅需约1秒的低延迟响应，且通过低成本SDK可快速集成至各种设备。
海量的精品模板：涵盖多业务场景，一键复制使用
HiAgent更新至1.5版本，助力企业高效打造AI原生应用的能力平台：
更擅长AI转型：建立观察与评估系统，确保成果实际可用；提供涵盖100个行业的应用模板，企业可以直接使用；同时提供专业的AI咨询服务，帮助企业找到适合自己的AI实施路径。
更深入的业务适配：提供多样化的高级企业级插件与灵活的应用集成方案；采用GraphRAG技术构建知识图谱，实现精细化的知识资产管理；结合命令行界面（CUI）和图形用户界面（GUI）的生成式画布，打造智能化的交互引擎。
更高级的安全保障：支持RAG知识库及全方位的大模型私有化部署。
在过去七个月里，模型落地加速为各行各业带来了更多的发展机遇，推动了智能化转型的进程。在汽车领域，豆包大模型的日均token消耗量增长了50倍，目前它已服务于国内近八成的汽车品牌，稳居汽车行业大模型服务提供商的第一梯队。在智能终端领域，豆包大模型已经应用于50种AI场景，覆盖了超过3亿台终端设备，为用户提供了更加智能的生活和工作体验。据统计，从5月到12月，智能终端中豆包大模型的日均token调用量增长了100倍。
技术架构面向AI全面转型AI云与基础设施持续创新
火山引擎在基础设施、数据分析等方面推出了一系列新服务，助力企业实现更加便捷、高效且安全的AI应用体验。
在未来十年，火山引擎认为计算范式应从云原生转向AI云原生的新纪元。AI云原生将以GPU为核心，对计算、存储和网络架构进行重新优化，使得GPU可以直接访问存储和数据库，从而显著降低I/O延迟。同时，整个系统将提供更大规模的高速互联和端到端的安全保护。基于这一理念，火山引擎推出了全新的计算、网络、存储和安全产品。在计算方面，新一代火山引擎GPU实例通过vRDMA网络支持大规模并行计算和P/D分离推理架构，大幅提升了训练和推理效率，并降低了成本。在存储方面，新推出的EIC弹性极速缓存可以实现GPU直连，使大模型推理时延减少至原来的1/50，成本降低20%。在安全方面，火山引擎将推出PCC私密云服务，构建起大模型的可信应用体系。
此外，火山引擎近日升级了数据飞轮2.0版本，开启了全链路AI驱动的数智生产力新时代。所有数据分析产品，如CDP（客户数据平台）、商业智能、用户行为分析以及A/B测试等，均新增了基于大模型的智能化功能。此外，火山引擎还推出了全模态数据湖解决方案，帮助企业更高效地管理和整合结构化与非结构化数据，并通过传统ETL流程和大模型技术进行综合分析。
未来，火山引擎将继续增强模型性能，优化模型服务，促进AI在各个领域的深度整合与创新应用。“更强性能、更具性价比、更易实施”的豆包大模型将助力打造更加智能化、高效化和便捷化的AI未来。火山引擎将持续提升模型能力，优化模型服务，推动AI在各行业的深度融合与创新应用。