提示词工程策略与ComfyUI工作流结合实例
提示工程是一门新兴学科，专注于开发和优化提示，以便在各种应用和研究主题中高效利用大语言模型 (LLM)。什么是提示工程？大语言模型的简单化使其使用变得更加普及。无需成为程序员或者专业工程师，只要你懂得任何一门自然语言，你就可以利用像chatGPT这样的当下最先进大语言模型工具解决复杂的问题！不过，使用大语言模型解决问题的效果很大程度上依赖于你的prompt提示词质量。因此，Prompt Engineering提示工程——一种通过实验不同的提示词来优化大语言模型性能的工程实践变得极为流行，并带来了许多优质案例。
本文则是基于 Cameron R. Wolfe 博士的提示词工程基础策略下，探索在Comfyui文生图工作流中加入大语言模型。帮助显存资源有限并且不会写stable diffusion提示词的入门用户，简单友好的使用workflow来使用SD1.5底模快速生成高质量高请大图的实践用例。
提示词的组成部分以及实战技巧：
虽然使用提示词激活大模型的方式多种多样，但大多数方法都包含几个共同的组成部分。其中包括构建一个高效的评估体系、从简单的提示开始、根据需要逐步增加复杂度以实现预期的性能水平、以及拆分复杂任务场景并确定大模型的能力边界。
在实战技巧方面，包括借助CO-STAR框架构建高效的提示、通过使用分隔符来分节构建提示词以及利用大语言模型的系统提示词创建机制。CO-STAR框架可以指引用户以有组织的方式提供所有关键任务信息，确保模型输出结果针对特定需求并进行优化。通过设置分隔符，可以为文本分段提供结构，使得模型能够理解特定部分需要得到不同的处理。同时，系统提示词的使用可以设置整体任务指令，而每个用户提示则需要提供执行该任务所需的具体细节。
在利用大语言模型进行数据分析时，虽然OpenAI在ChatGPT的GPT-4中提供了高级数据分析插件，但仅使用LLMs进行数据分析也有其优势与限制。LLMs在执行基于模式查找的任务时表现出色，如识别客户细分、生成市场策略等。然而，它们在精确量化分析方面有所限制，不适合需要精确计算的任务。因此，对于基于模式的任务，单独使用LLMs可能在较短时间内产生更好的结果。
提示词工程在Comfyui中的实践，旨在帮助新手用户在有限的资源下使用简单中文快速生成高质量高清大图。通过将LLM大语言模型的文本生成能力用来帮助SD模型构建复杂场景下的提示词，本文尝试使用了最近微软开源的超轻量级模型Phi3mini与Comfyui工作流整合，探索如何在文生图领域使用提示工程策略。工作流整合了Phi3mini、腾讯ELLA、Hidiffusion以及Nvidia的(align your steps, AYS)技术，使得在显存资源有限的情况下，使用比较用户友好的方式快速出高清大图。
总结而言，提示词工程在提升大语言模型性能、简化数据分析任务、以及在Comfyui工作流中实现文生图方面提供了有效的策略和实践案例。通过结合CO-STAR框架、分隔符、系统提示词以及特定的LLM技术，用户可以在各种场景下优化模型响应，生成高质量的内容。
多重随机标签