配置审核规则

大约 5 分钟

配置审核规则

开通内容审核服务 后,你可以在环信控制台配置内容审核规则,测试规则、查看历史记录以及配置关键词名单。

本文以配置文本审核规则为例进行介绍。图片和音视频的审核规则与文本类似。

你可以按以下步骤打开 文本审核 页面:

  1. 登录 环信控制台open in new window
  2. 选择页面上方的 应用管理。在弹出的应用列表页面,单击你的应用的 操作 栏中的 管理
  3. 在左侧导航栏,选择 功能配置 > 增值服务 > 内容审核 > 文本审核

添加文本审核规则

开通文本审核服务后,规则配置 页面默认会添加单聊文本、群聊文本和聊天室文本审核规则。每类会话只支持一条文本审核规则,而且你可以为指定的会话创建审核规则。

点击 添加规则,在弹出的 创建规则 对话框中配置文本规则相关参数。

img

参数描述
规则名称文本审核规则的名称,为规则的唯一标识,不能超过 32 个字符。
会话类型会话类型指审核规则生效的范围,包括:单聊会话、单个、多个或所有群聊会话和聊天室会话;例如,选择单聊,则表示是应用下单聊的所有文本消息会按照规则审核和处置。
每类会话只支持一种文本审核规则,例如,若你使用默认的单聊、群聊和聊天室文本审核规则,则无法再创建针对所有单聊、群聊或聊天室的规则,即 会话类型 不能选择 单聊群聊聊天室。这种情况下,你只能为单个群组或聊天室创建规则,即 会话类型 只能选择 GroupIDChat Room ID,然后输入指定的群组 ID 或聊天室 ID。
启用规则是否启用审核规则。打开后规则生效,关闭则规则不生效。
消息处理详情参见下表。
选择模型
- AI模型+关键词:AI 模型为通用违规内容审核模型,包含策略:涉政、违禁、暴恐、色情、辱骂、广告、灌水和无意义。若配置了关键词名单,则会匹配关键词名单中的词条。
- 仅关键词名单,无需模型
用户处理策略
- 默认为 不处理
- 选择 删除强制下线封禁。这种情况下,你需设置时间间隔和触发次数。

对于 消息处理 参数,内容审核服务支持 4 种审核结果(通过、拒绝、疑似,调用失败)下的消息处置策略以及消息拦截后客户端的报错方式:

参数选项描述
审核结果为拒绝表示发现违规内容,建议拦截。支持 3 种处置策略:
- 拦截:即不会下发消息。
- 通过:即下发消息。如果处于测试阶段,模型还没有调整至完全符合业务预期时,可选择该设置,即审核结果不会对消息产生影响;如果审核效果测试符合预期后,建议选择 拦截替换为***,即可对违规消息进行合理处置。
- 替换为 ***:表示会把敏感词替换为 *** 后再下发消息。说明:如果是智能语义识别出违规,不会返回违规敏感词,因此这种情况无法实现替换 *** 时,会按拦截处理。
审核结果为疑似表示可能存在违规内容,通常这部分内容如果有人工审核,建议人工再次审核。支持 2 种处置策略:
- 拦截:不会下发消息。
- 通过:下发消息。
审核服务调用失败表示审核服务没有在一定时间内返回审核结果,即认为调用失败;例如文本审核接口超时时间为 200 毫秒,若该时间内未返回审核结果,则视为异常。通常认定为异常会有3种原因,一是没有调用权限,二是返回时间超时,三是服务出现异常。支持2种处置策略:
- 拦截:不会下发消息。
- 通过:下发消息。
审核结果为通过表示未发现违规内容,默认下发消息,无需设置。
消息拦截后客户端是否报错
- 是(报错):发送方会感知,上报 508 错误码(如下图示例)。应用可根据错误码展示提示信息。
- 否(不报错):发送方无感知(即不会出现感叹号提示);如果应用内违规内容较多,建议选择 ,以避免违规用户感知到被拦截后频繁尝试变体违规内容。

img

添加文本审核子规则

文本审核过程中,若对单聊、群聊或聊天室会话中的某个标签下的用户采取特定的规则,则可以添加文本审核子规则。

单条规则最多可有 5 个子规则。同一规则下,只能为每个用户标签创建一条子规则。

本节以添加单聊文本审核规则的子规则为例进行介绍。

在文本审核规则列表中,选择单聊文本审核规则的 操作 栏中的 更多 > 子规则,点击 添加,在 添加子规则 对话框中配置相关参数。一条子规则最多可选 5 个用户标签。

img

编辑和删除文本审核规则

你可以添加和删除文本审核规则以及子规则。

在文本审核规则列表中,选择指定规则的 操作 栏中的 更多 > 编辑/删除 对该条规则进行编辑和删除。