配置审核规则
大约 5 分钟
console
配置审核规则
开通内容审核服务 后,你可以在环信控制台配置内容审核规则,测试规则、查看历史记录以及配置关键词名单。
本文以配置文本审核规则为例进行介绍。图片和音视频的审核规则与文本类似。
你可以按以下步骤打开 文本审核 页面:
- 登录 环信控制台。
- 选择页面上方的 应用管理。在弹出的应用列表页面,单击你的应用的 操作 栏中的 管理。
- 在左侧导航栏,选择 功能配置 > 增值服务 > 内容审核 > 文本审核。
添加文本审核规则
开通文本审核服务后,规则配置 页面默认会添加单聊文本、群聊文本和聊天室文本审核规则。每类会话只支持一条文本审核规则,而且你可以为指定的会话创建审核规则。
点击 添加规则,在弹出的 创建规则 对话框中配置文本规则相关参数。
参数 | 描述 |
---|---|
规则名称 | 文本审核规则的名称,为规则的唯一标识,不能超过 32 个字符。 |
会话类型 | 会话类型指审核规则生效的范围,包括:单聊会话、单个、多个或所有群聊会话和聊天室会话;例如,选择单聊,则表示是应用下单聊的所有文本消息会按照规则审核和处置。 每类会话只支持一种文本审核规则,例如,若你使用默认的单聊、群聊和聊天室文本审核规则,则无法再创建针对所有单聊、群聊或聊天室的规则,即 会话类型 不能选择 单聊、群聊 或 聊天室。这种情况下,你只能为单个群组或聊天室创建规则,即 会话类型 只能选择 GroupID 或 Chat Room ID,然后输入指定的群组 ID 或聊天室 ID。 |
启用规则 | 是否启用审核规则。打开后规则生效,关闭则规则不生效。 |
消息处理 | 详情参见下表。 |
选择模型 | - AI模型+关键词:AI 模型为通用违规内容审核模型,包含策略:涉政、违禁、暴恐、色情、辱骂、广告、灌水和无意义。若配置了关键词名单,则会匹配关键词名单中的词条。 - 仅关键词名单,无需模型。 |
用户处理策略 | - 默认为 不处理。 - 选择 删除、强制下线 和 封禁。这种情况下,你需设置时间间隔和触发次数。 |
对于 消息处理 参数,内容审核服务支持 4 种审核结果(通过、拒绝、疑似,调用失败)下的消息处置策略以及消息拦截后客户端的报错方式:
参数选项 | 描述 |
---|---|
审核结果为拒绝 | 表示发现违规内容,建议拦截。支持 3 种处置策略: - 拦截:即不会下发消息。 - 通过:即下发消息。如果处于测试阶段,模型还没有调整至完全符合业务预期时,可选择该设置,即审核结果不会对消息产生影响;如果审核效果测试符合预期后,建议选择 拦截 或 替换为*** ,即可对违规消息进行合理处置。- 替换为 *** :表示会把敏感词替换为 *** 后再下发消息。说明:如果是智能语义识别出违规,不会返回违规敏感词,因此这种情况无法实现替换 *** 时,会按拦截处理。 |
审核结果为疑似 | 表示可能存在违规内容,通常这部分内容如果有人工审核,建议人工再次审核。支持 2 种处置策略: - 拦截:不会下发消息。 - 通过:下发消息。 |
审核服务调用失败 | 表示审核服务没有在一定时间内返回审核结果,即认为调用失败;例如文本审核接口超时时间为 200 毫秒,若该时间内未返回审核结果,则视为异常。通常认定为异常会有3种原因,一是没有调用权限,二是返回时间超时,三是服务出现异常。支持2种处置策略: - 拦截:不会下发消息。 - 通过:下发消息。 |
审核结果为通过 | 表示未发现违规内容,默认下发消息,无需设置。 |
消息拦截后客户端是否报错 | - 是(报错):发送方会感知,上报 508 错误码(如下图示例)。应用可根据错误码展示提示信息。 - 否(不报错):发送方无感知(即不会出现感叹号提示);如果应用内违规内容较多,建议选择 否,以避免违规用户感知到被拦截后频繁尝试变体违规内容。 |
添加文本审核子规则
文本审核过程中,若对单聊、群聊或聊天室会话中的某个标签下的用户采取特定的规则,则可以添加文本审核子规则。
单条规则最多可有 5 个子规则。同一规则下,只能为每个用户标签创建一条子规则。
本节以添加单聊文本审核规则的子规则为例进行介绍。
在文本审核规则列表中,选择单聊文本审核规则的 操作 栏中的 更多 > 子规则,点击 添加,在 添加子规则 对话框中配置相关参数。一条子规则最多可选 5 个用户标签。
编辑和删除文本审核规则
你可以添加和删除文本审核规则以及子规则。
在文本审核规则列表中,选择指定规则的 操作 栏中的 更多 > 编辑/删除 对该条规则进行编辑和删除。