Anthropic搞出新玩具可以生成提示创建测试用例同时比较多个提示的输出

Anthropic又整了个大活！

话不多说，上视频：

他们给Claude搞了个新Console，这玩意儿简直就是给AI装上了助推器，让它从一个乖巧的小学生变成了能干翻你全家的超级秘书！

首先，这个新Console能 让C laude自己生成prompt 。你只需要给它一个大致方向，它就能给你生成一堆花里胡哨的prompt，让你挑花眼。

但是等等，还有更刺激的！这个Console还能 自动创建测试用例 。这就像是给你家的智障表弟安装了一个自动出题系统，不仅能出题，还能自己解答，然后再自己批改。你只需要动动手指，就能看到一大堆测试结果，爽得像是坐在按摩椅上被十个小姐姐伺候！

最后，这个新Console还能让你 同时比较多个prompt的输出结果 。这简直就是给你开了个AI后宫！你可以让多个Claude版本同时为你解答问题，然后像个昏君一样挑三拣四，看谁回答得最好。而且，你还可以给它们打分，就像是在给你的小妾们评级。五星好评，今晚就宠幸你！

Anthropic这些新功能现在就可以在官网上使用了，前往使用：https://console.anthropic.com/

下为Anthropic 原文：

在开发者控制台中评估提示

来源链接: Evaluate prompts in the developer console [1]

Image 1: Illustration of Claude using tools

在构建AI驱动的应用程序时，提示的质量对结果有显著影响。然而，打造高质量的提示是一个具有挑战性的过程，需要对应用需求和大型语言模型有深入了解。为了加快开发速度并改进结果，我们简化了这个过程，使用户更容易产生高质量的提示。

现在，你可以在Anthropic控制台中生成、测试和评估提示。我们增加了新功能，包括生成自动测试用例和比较输出，这使你能够利用Claude生成最佳响应以满足你的需求。

生成提示

编写一个优秀的提示可以像向Claude描述一个任务一样简单。控制台提供了一个内置的 提示生成器 [2] ，由Claude 3.5 Sonnet驱动，允许你描述你的任务（例如，“分类处理收到的客户支持请求”），并让Claude为你生成一个高质量的提示。

Image 2: App screen of Anthropic Console prompt generator

你可以使用Claude的新测试用例生成功能为你的提示生成输入变量，例如，一个收到的客户支持消息，然后运行提示以查看Claude的响应。或者，你也可以手动输入测试用例。

Image 3: App screen of prompt generation and Claude response

生成测试套件

将提示与一系列真实世界的输入进行测试，可以帮助你在将其部署到生产环境之前建立对提示质量的信心。使用新的评估功能，你可以直接在我们的控制台中执行此操作，而无需在电子表格或代码中手动管理测试。

手动添加或从CSV导入新测试用例，或者使用“生成测试用例”功能让Claude为你自动生成测试用例。根据需要修改你的测试用例，然后一键运行所有测试用例。查看并调整Claude对每个变量生成要求的理解，以更精细地控制Claude生成的测试用例。

Image 4: App screen of comparison mode of different prompt responses

评估模型响应并迭代提示

现在，你可以通过创建提示的新版本并重新运行测试套件来快速迭代和改进结果，从而减少步骤。我们还添加了比较两个或多个提示输出的功能。

你甚至可以让主题专家在五分制上评分，以查看你所做的更改是否提高了响应质量。这些功能都提供了一种更快、更便捷的方式来提高模型性能。

开始使用

测试用例生成和输出比较功能对所有Anthropic控制台用户开放。要了解更多关于如何使用Claude生成和评估提示的信息，请查看我们的 文档 [3] 。

相关链接

[1]

Evaluate prompts in the developer console: https://www.anthropic.com/news/evaluate-prompts

[2]

提示生成器: https://www.anthropic.com/news/prompt-generator

[3]

文档: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview