规则配置
大约 4 分钟
内容审核
规则配置
前提条件
设置审核规则
本文以文本审核服务为例,介绍如何设置规则。
1、进入文本审核-规则配置页
开通内容审核-文本审核功能后,规则配置页面中会有默认规则,各类会话场景下均提供了默认规则。
2、点击操作-更多-编辑,进入编辑规则窗口
如果需要审核单聊里的文本消息,则可编辑单聊文本规则,群聊、聊天室均同理。
以单聊文本为例,编辑规则窗口如下:
规则中的字段详细介绍如下:
字段 | 描述 |
---|---|
规则名称 | 审核规则的名称,为审核规则的唯一标识,不能超过 32 个字符。 |
会话类型 | 会话类型指审核规则生效的范围,包括:单聊会话、单个、多个或所有群聊会话和聊天室会话;例如,选择单聊,则表示是应用下单聊的所有文本消息会按照规则审核和处置。 |
启用规则(规则开关) | 是否启用审核规则。打开后规则生效,关闭则规则不生效。 |
消息处理 | • 审核结果为拒绝时消息处理策略,包括:拦截、替换为 ***、通过; • 审核结果为疑似时消息处理策略,包括:拦截、通过; • 审核服务调用失败时消息处理策略,包括:拦截、通过; • 消息拦截后客户端是否报错,包括:报错、不报错。 |
审核模型 | 内容审核支持多场景模型,可按需选择;文本审核仅有1个通用违规内容审核模型,包含策略:涉政&违禁&暴恐&色情&辱骂&广告&灌水&无意义;详见 内容审核模型策略。 |
用户处理策略 | 默认不处理。开启后,可以设置时间间隔、触发次数和用户自动处理的策略,触发后将对用户进行自动处理,详见 应用内用户管理章节。 |
3、检查【消息处理】的设置,按需调整
内容经过审核后,审核结果会出现 4 种情况(通过、拒绝、疑似,调用失败),支持按业务需求设置每种情况下的消息处置策略:
- 审核结果为拒绝:表示发现违规内容,建议拦截。
- 支持 3 种处置策略:拦截、替换为 ***、通过。
- 拦截:即不会下发消息。
- 替换为
***
:表示会把敏感词替换为***
后再下发消息。说明:如果是智能语义识别出违规,不会返回违规敏感词,因此这种情况无法实现替换***时,会按拦截处理。 - 通过:即下发消息。如果处于测试阶段,模型还没有调整至完全符合业务预期时,可选择该设置,即审核结果不会对消息产生影响;如果审核效果测试符合预期后,建议选择 拦截 或
替换为***
,即可对违规消息进行合理处置。
- 审核结果为疑似:表示可能存在违规内容,通常这部分内容如果有人工审核,建议人工再次审核。
- 支持2种处置策略:拦截(即不会下发消息)和通过(即下发消息)。
- 审核服务调用失败:表示审核服务没有在一定时间内返回审核结果,即认为调用失败;例如文本审核接口超时时间为 200 毫秒,若该时间内未返回审核结果,则视为异常。通常认定为异常会有3种原因,一是没有调用权限,二是返回时间超时,三是服务出现异常。
- 支持2种处置策略:拦截(即不会下发消息)和通过(即下发消息)。
- 审核结果为通过:表示未发现违规内容,默认下发消息,无需设置。
提示
当消息被处置为拦截后,客户端会返回错误码:508,应用可根据错误码展示提示信息。
消息拦截后客户端是否报错:表示消息被拦截后,发送方是否要感知到消息发送失败:
- 是(报错):即发送方会感知到消息发送失败(如下图示例);
- 否(不报错):即发送方不会感知到消息发送失败(即不会出现感叹号提示);如果应用内违规内容较多,建议选择否,以避免违规用户感知到被拦截后频繁尝试变体违规内容。
4、点击启用规则
规则状态默认是不启用。点击启用规则后,规则立即生效,表示文本消息会按该规则配置进行内容审核。
5、点击确定
点击确定后,即规则修改保存成功。
所有经过审核的内容可在 历史记录 页面查看。