工业控制
返回首页

利用模型护栏规范GenAI的行为和输出

2024-08-27 来源:EEWORLD

当前,许多企业机构都在全力推进生成式人工智能(GenAI)解决方案的设计和实施,希望提升解决方案的通用性和创造性,进而推动业务价值。2023年Gartner企业人工智能(AI)调研揭示了GenAI用例的三种最主要的实现方法,74%的受访者通过对现有GenAI模型进行定制化调整来满足自身用例的需求,65%的受访者尝试自行训练定制GenAI模型。


然而,实施GenAI绝非易事。对于创造性和通用性的追求,往往会增加GenAI解决方案的复杂性、不确定性和生成非预期结果的可能性,而这也成为了GenAI企业采用面临的主要问题。GenAI解决方案的创造性和通用性越强,出现非预期行为和输出(如幻觉、有害内容超出应用范围的内容等)的可能性越高(见图1)。


图1:在创造性与通用性之间取得平衡

image.png


选择基于GenAI模型自行构建GenAI解决方案的企业机构,其负责AI工作的数据和分析(D&A)领导者应利用开源护栏、商业护栏和自建护栏这三种护栏工具来控制GenAI模型的输入和输出,验证并矫正GenAI模型的输入和输出,提高模型的可靠性。


评估并优化GenAI解决方案的创造性和通用性


GenAI模型可兼具创造性和通用性。企业机构通常需要在广泛的场景中使用GenAI解决方案,而这些场景对于解决方案创造性和通用性的需求各不相同。因此,必须根据部署目的和具体场景下的功能需求,确定GenAI解决方案的定位,并根据在创造性和通用性两个方面的具体需求,利用护栏工具建立控制策略和机制。


负责AI工作的D&A领导者应基于GenAI解决方案的使用场景和方式,确定相应的业务风险容忍度,具体取决于:


  • 业务用例的重要性

  • 用于内部用途还是面向客户

  • 是否引入了人工监督


而后,应根据业务风险容忍度,利用护栏工具管理模型输入和输出,建立严格或宽松的控制机制,并最终在创造性和通用性之间取得最佳平衡。


利用模型护栏验证和矫正模型的输入和输出


使用护栏工具,是管理GenAI模型创造性和通用性的一个切实可行的方法。护栏(在GenAI模型和应用与最终用户之间建立防护层)可以监控和管理模型的全部流量,包括用户输入和模型/应用输出(见图2)。


图2:护栏部署在用户与GenAI模型之间

image.png


以下是两种典型护栏:


  • 用于控制最终用户输入的模型护栏:所有用户请求都必须经护栏过滤,以清除非预期的请求,包括超出GenAI解决方案应用范围的请求和违反可接受使用政策的请求。通过这种方式,护栏可以将解决方案的通用性控制在可管理的范围内,就像建立了一个安全围栏。


  • 用于控制GenAI输出的模型护栏:所有模型输出都必须经过护栏的验证,但不同的用例对于模型创造性的需求存在差异,因而需要对模型施加不同程度的控制。但是,对于开发GenAl驱动的企业级搜索引擎或面向客户的聊天机器人的情况,必须对模型输出进行更为严格的验证和控制,以调节模型的创造性,并确保最终用户可以得到可靠且符合预期的结果。


需要注意的是,护栏并非“灵丹妙药”,不能完全解决GenAI解决方案的行为和准确性问题。GenAI解决方案必须在准确性与企业机构的风险承受能力之间取得平衡。


此外,伴随GenAI的快速发展,护栏技术也在不断变化和改进。鉴于神经网络的不可预测性,护栏技术目前是验证和矫正GenAI模型输出的一种切实可行的方法。长期来看,在基础GenAI模型变得足够可靠和可信之前,护栏提供了一种过渡解决方案,可以帮助企业机构推动GenAI采用。

进入工业控制查看更多内容>>
相关视频
  • 控制系统仿真与CAD

  • PLC功能指令应用详解

  • 非线性控制理论(浙大)

  • 对话ADI和世健 看工业市场发展的新机遇

  • 电力工程信号处理应用

  • 周公系列讲座——温度仪表

精选电路图
  • 家用电源无载自动断电装置的设计与制作

  • 短波AM发射器电路设计图

  • 开关电源的基本组成及工作原理

  • 用NE555制作定时器

  • 如何构建一个触摸传感器电路

  • 基于ICL296的大电流开关稳压器电源电路

    相关电子头条文章