关键词审核
关键词审核
关键词审核是一种基础的文本审核方式,通过对文本消息内容中的关键词进行识别与过滤,可快速发现和过滤不合规的文本。关键词精准匹配可解决简单的内容过滤需求,例如不允许出现国家领导人姓名。如果应用中的违规内容较复杂,存在较多变体等情况,建议结合 AI 模型审核实现更全面、更准确的内容审核。
下表为关键词审核与 AI 审核的区别。
审核类型 | 应用场景 | 审核机制 | 审核范围 | 收费机制 |
---|---|---|---|---|
关键词审核 | 简单的文本内容过滤需求。 | 1. 你需创建黑白名单,填写关键词,设置对含有关键词的消息的审核建议。 2. 在文本审核规则中选择使用关键词审核。 | 支持从客户端 SDK 发送的文本消息。 | 按月收费。 |
AI 模型审核 | 各种场景的全消息类型的全方位内容审核。 | 基于业界先进的语义模型和海量的多语种样本库,有效识别各类场景中的风险文本内容。你需在文件审核规则中选择 AI 模型和关键词名单配合使用。 | 支持从客户端 SDK 发送的文本、图片、音频和视频消息。详见 内容审核产品介绍。 | 按量计费,详见 内容计费说明。 |
开通服务
使用前,你需要开通文本审核和关键词审核服务。详见 服务开通文档。
配置关键词名单
- 登录 环信控制台。
- 选择页面上方的 应用管理。在弹出的应用列表页面,单击你的应用的 操作 栏中的 管理。
- 在左侧导航栏,选择 功能配置 > 增值服务 > 内容审核 > 文本审核 > 关键词名单。
关键词名单包含白名单和黑名单,即 命中处置 参数为 通过 时为白名单,设置为 拦截 和 替换为 ***
时为黑名单。每个应用最多可配置 10 个名单, 每个名单最多可添加 10,000 个关键词,即每个应用最多可配置 100,000 个词条。添加的关键词在 1 分钟后生效。
- 在 黑/白名单管理 页面,单击 创建黑/白名单,配置名单参数。
创建黑/白名单,需配置以下参数:
字段 | 描述 |
---|---|
名单名称 | 关键词名单的名称,不能超过 32 个字符。 |
命中处置 | 对命中关键词的消息的处理: - 通过:下发消息。 - 替换为***:将消息内容中命中的关键词替换为 *** 后再下发消息。- 拦截:不下发消息。 |
生效范围 | 关键词审核规则的应用范围,包括: - 全部:所有会话,包含单聊、群聊和聊天室会话。 - 单聊 - 群聊 - 聊天室 - 群组/聊天室标签。详见 标签管理。 |
匹配方式 | - 包含匹配:模糊匹配,即消息内容中包含关键词内容即为命中。例如,关键词为“加我微信”,若消息内容中包含“加我微信88888**88” 即命中关键词。 - 相等匹配:精确匹配。 |
关键词 | 该规则中的关键词。每个关键词的长度不能超过 128 个字符,一次最多可添加 200 个词条,每行一个词条。 |
关键词创建成功后会显示在名单列表中,默认为开启状态。若不需要使用该名单,可以在状态栏中将其关闭。
添加关键词
创建关键词名单后,你可以在名单列表中单击名单名称或选择 更多 > 进入名单,打开关键词名单管理页面。
选择通过手动添加或文件导入方式添加关键词。
手动添加
单击 添加关键词,手动输入关键词。每次最多添加 200 个词条。
文件导入
单击 文件导入,然后选择文件上传。支持 .txt 格式的纯文本文件,每个文件不能超过 2 MB。
文件上传后应确保单个名单的词条总数不超过 10,000,否则超出部分将添加失败。
搜索关键词名单或关键词
- 名单搜索:在名单列表页面搜索名单名称,精确匹配,需输入完整的名单名称。
- 关键词搜索:进入指定的关键词名单列表,输入关键字即可搜索出包含该关键字的所有关键词,支持模糊匹配。
使用关键词名单
关键词名单用于 文本审核规则。文本审核开通后,默认会生成 3 条审核规则。本节以默认的单聊文本规则为例,介绍如何在文本审核规则中应用关键词名单。
- 点击默认的单聊文本规则的 操作 栏中 更多 > 编辑,进入 编辑规则 对话框。
- 配置使用关键词名单。
你可以通过 模型选择 参数配置关键词名单审核:
如果仅使用关键词审核,则选择 仅关键词名单,无需模型。这种情况下,你可以配置 消息处理 中的 审核服务调用失败时 和 消息拦截后是否报错 选项。
如果需同时使用关键词审核和 AI 模型审核,则选择 AI模型+关键词名单。这种情况下, 消息处理 会列明所有选项,其中 审核结果为拒绝时 和 审核结果为疑似时 仅对 AI 模型有效。
其他参数配置详见 规则配置说明。
使用示例
发送文本消息时,若消息内容中包含关键词名单中的关键词而且文本审核规则中的 消息处理 配置为 拦截,则消息发送失败,SDK 返回错误码 508;如规则配置为替换为***
,则关键词会被替换为 ***
,再将替换后的内容发送至接收方。