利用模型护栏规范GenAI的行为和输出
2024-08-27 来源:EEWORLD
当前,许多企业机构都在全力推进生成式人工智能(GenAI)解决方案的设计和实施,希望提升解决方案的通用性和创造性,进而推动业务价值。2023年Gartner企业人工智能(AI)调研揭示了GenAI用例的三种最主要的实现方法,74%的受访者通过对现有GenAI模型进行定制化调整来满足自身用例的需求,65%的受访者尝试自行训练定制GenAI模型。
然而,实施GenAI绝非易事。对于创造性和通用性的追求,往往会增加GenAI解决方案的复杂性、不确定性和生成非预期结果的可能性,而这也成为了GenAI企业采用面临的主要问题。GenAI解决方案的创造性和通用性越强,出现非预期行为和输出(如幻觉、有害内容超出应用范围的内容等)的可能性越高(见图1)。
图1:在创造性与通用性之间取得平衡
选择基于GenAI模型自行构建GenAI解决方案的企业机构,其负责AI工作的数据和分析(D&A)领导者应利用开源护栏、商业护栏和自建护栏这三种护栏工具来控制GenAI模型的输入和输出,验证并矫正GenAI模型的输入和输出,提高模型的可靠性。
评估并优化GenAI解决方案的创造性和通用性
GenAI模型可兼具创造性和通用性。企业机构通常需要在广泛的场景中使用GenAI解决方案,而这些场景对于解决方案创造性和通用性的需求各不相同。因此,必须根据部署目的和具体场景下的功能需求,确定GenAI解决方案的定位,并根据在创造性和通用性两个方面的具体需求,利用护栏工具建立控制策略和机制。
负责AI工作的D&A领导者应基于GenAI解决方案的使用场景和方式,确定相应的业务风险容忍度,具体取决于:
业务用例的重要性
用于内部用途还是面向客户
是否引入了人工监督
而后,应根据业务风险容忍度,利用护栏工具管理模型输入和输出,建立严格或宽松的控制机制,并最终在创造性和通用性之间取得最佳平衡。
利用模型护栏验证和矫正模型的输入和输出
使用护栏工具,是管理GenAI模型创造性和通用性的一个切实可行的方法。护栏(在GenAI模型和应用与最终用户之间建立防护层)可以监控和管理模型的全部流量,包括用户输入和模型/应用输出(见图2)。
图2:护栏部署在用户与GenAI模型之间
以下是两种典型护栏:
用于控制最终用户输入的模型护栏:所有用户请求都必须经护栏过滤,以清除非预期的请求,包括超出GenAI解决方案应用范围的请求和违反可接受使用政策的请求。通过这种方式,护栏可以将解决方案的通用性控制在可管理的范围内,就像建立了一个安全围栏。
用于控制GenAI输出的模型护栏:所有模型输出都必须经过护栏的验证,但不同的用例对于模型创造性的需求存在差异,因而需要对模型施加不同程度的控制。但是,对于开发GenAl驱动的企业级搜索引擎或面向客户的聊天机器人的情况,必须对模型输出进行更为严格的验证和控制,以调节模型的创造性,并确保最终用户可以得到可靠且符合预期的结果。
需要注意的是,护栏并非“灵丹妙药”,不能完全解决GenAI解决方案的行为和准确性问题。GenAI解决方案必须在准确性与企业机构的风险承受能力之间取得平衡。
此外,伴随GenAI的快速发展,护栏技术也在不断变化和改进。鉴于神经网络的不可预测性,护栏技术目前是验证和矫正GenAI模型输出的一种切实可行的方法。长期来看,在基础GenAI模型变得足够可靠和可信之前,护栏提供了一种过渡解决方案,可以帮助企业机构推动GenAI采用。
- 利用创新的Bluetooth®核心规范v5.1中的到达角(AoA)增强室内定位服务
- 《液流电池电极用碳毡技术规范》《液流电池电极用碳毡试验方法》团体标准启动会
- 湖南规范新型储能项目管理 以发展电网侧及用户侧新型储能为主
- 规范行为,储能产品不能乱泊!广东:储能电站严禁设置在高层建筑、商业综合体、人员密集和具有粉尘、腐蚀性气体场所内
- 辽宁发改委:积极推动液流电池等新型储能规范化、多元化、产业化、市场化高质量发展
- 关于西门子PLC程序的规范编写
- 是德科技成为 FiRa® 2.0 技术和测试规范的验证测试工具提供商
- 北京《虚拟电厂建设及运营技术规范》团体标准征求意见
- 3C数字钥匙技术规范解读
- 中国企业利用GenAI提高生产力的三大策略
- 大联大世平集团推出基于NXP产品的工业BMU方案
- 大联大世平集团推出以旗芯微产品为核心的新能源汽车e-Compressor空压机方案
- 德国MR“顶流”产品组合 “技惊四座”, 携手特变电工闪耀沙特光伏领域标杆项目
- 佳能集团发布第三季度财报 继续保持增收增益
- 恩智浦开展技术日巡回研讨会,全维赋能大众市场创新发展
- Melexis率先在全球推出60W单线圈无传感器BLDC驱动芯片
- 【广濑Hirose Electric连接器】板对板/基板对FPC连接器 DF40系列/DF40T系列
- 尼得科集团旗下4家机床企业参展JIMTOF2024
- 罗克韦尔自动化亮相第七届进博会,三大引擎链动可持续未来
- 【TE Connectivity】泰科电子新品|助力无人驾驶驶向未来,高分辨率轮速传感器 HR WSS 上市
- 凝心聚力推动创新转型,清洁能源时代下特高压领域谱写更多可能性
- 英飞凌推出全球首款非接触式支付卡技术SECORA™ Pay Green,最多减少100%的塑料垃圾
- 当AI遇上边缘计算,研华以Edge AI推进嵌入式产业变革
- 罗克韦尔自动化亮相第七届进博会,三大引擎链动可持续未来
- 构建“绿色工厂”矩阵 美芝、威灵打造家电“绿色竞争力”
- e络盟扩展工具和生产用品产品线,进一步支持工业运营需求
- 【广濑Hirose Electric连接器】板对板/基板对FPC连接器 DF40系列/DF40T系列
- BlackBerry QNX与英特尔合作推出软件定义功能安全平台,助力工业自动化
- 【Amphenol】安费诺解锁自主机器人潜力 | 电池管理系统的关键作用