华人学者James Zou团队研发TextGrad：AI系统优化新利器
在人工智能（AI）领域，突破性的进展往往依赖于协调多个大语言模型（LLM）及其他专业工具（如搜索引擎和模拟器）的复杂系统。然而，这些系统目前主要依赖领域专家手工制作，并通过启发式方法进行调整，而非自动优化。类似的情况也出现在人工神经网络的发展中，直到反向传播和自动微分技术的出现，优化工作才变得简便，从而彻底改变了这一领域。
在这样的背景下，华人学者、斯坦福大学副教授James Zou领导的团队提出了一种名为TextGrad的创新技术。TextGrad通过文本自动“微分”反向传播LLM的文本反馈，从而优化AI系统。
TextGrad：自动化优化，几行代码即可实现
TextGrad是一款多功能的框架，通过反向传播LLM生成的反馈来执行优化，旨在改进人工智能系统。该框架仅需几行代码，即可将用于分类数据的“逐步推理”提示转换为一个更复杂、针对特定应用的提示。
基于三个原则构建，TextGrad助力AI系统优化
TextGrad基于以下三个原则构建：
- 通用高性能框架：TextGrad是一个通用的高性能框架，并非为特定应用领域而手工打造。
- 易于使用：与PyTorch的抽象概念相似，易于使用，可实现知识转移。
- 完全开源：TextGrad完全开源，方便社区贡献和扩展。
TextGrad：一切皆文本，AI系统优化新思路
在TextGrad中，一切都是文本。用户可以使用语言模型评估输出、评论它们、更新输入。利用自然语言反馈来批评，对系统的任何部分提出改进建议——从提示到输出，如分子或治疗方案等——TextGrad能够自动优化生成式人工智能系统。
研究成果：TextGrad在Nature发表，性能显著提升
相关研究论文以“Optimizing generative AI by backpropagating language model feedback”为题发表在权威科学期刊Nature上。研究团队展示了TextGrad在GPQA（博士级问题解答）和LeetCode Hard（高难度编程问题）中实现的SOTA性能。
TextGrad通过优化药物发现的分子来解决有影响力的科学问题，并通过优化治疗方案来改善患者的治疗效果。他们发现，无需修改框架，TextGrad即可在许多领域发挥作用。
TextGrad：LLM系统的“缺失一环”
PyTorch是构建复杂神经网络最流行的框架，其成功的部分原因在于其语法的灵活性和“友好性”。TextGrad提供了一个遵循PyTorch语法的API，允许用户通过使用仅由语言模型提供的文本反馈来优化任何提示或结果。
TextGrad还允许语言模型自我完善其响应，评估由任何潜在的黑盒函数提供，例如语言模型本身或代码解释器的输出。他们在解法优化、代码优化、推理提示优化、放疗计划优化、复合人工智能系统优化等方面进行了研究。
James Zou：推动AI发展，助力人类健康
James Zou本科毕业于杜克大学，并在哈佛大学取得博士学位，现为斯坦福大学生物医学数据科学副教授。他的研究工作主要聚焦于使机器学习更加可靠、符合人类需求以及统计严谨，同时也涉及AI在人类疾病和健康方面的应用。
2023年8月，他和他的团队在Nature Medicine上发表论文，首次展示了利用Twitter上的数据，来开发“病理图像-文本对应”的自然语言-图像预训练模型。2024年4月，他们在Nature Machine Intelligence上发表论文，推出了一个生成式AI模型SyntheMol，该模型可以设计数十亿种新的抗生素分子。
结语
随着人工智能范式从训练单个模型转向优化涉及多个相互作用的LLM组件和工具的复合系统，自动优化器TextGrad为训练大型复合AI模型开辟了令人兴奋的机会。
作者：与可
转载或投稿，请直接在公众号内留言