文档反馈
文档反馈

内容安全审核概述

泛娱乐类的音视频聊天场景的日益增加,充斥着各种不可控的风险因素,例如色情、暴恐和涉政信息等。随着国家监管的日趋严格,各平台需要对平台的音视频内容进行管控,自行处理音视频内容安全审核需要投入大量人力进行甄别。网易云信融合网易易盾的内容安全审核能力,为您提供实时音视频内容安全审核服务,对音视频内容进行有效的判别和筛选,降低人力投入。

若要对房间内的音视频进行实时审核,您需要通过应用程序服务器调用网易云信的 RESTful API 发送 HTTP 请求。开启音视频内容安全审核后,内容安全审核服务通过虚拟身份加入音视频房间,并对房间中的音视频内容进行实时检测。内容安全审核服务的审核结果会以抄送方式发送至您预留的抄送URL 地址,您也可以随时查看检测过程中截取的图片或音频。

方案架构

注意事项

准备工作

  1. 准备接收消息抄送的服务器公网地址。

    审核结果会以消息抄送方式发送至您预留的抄送地址,请在开通服务前准备抄送地址,并保证抄送地址长期有效。

  2. 为内容安全审核服务在房间中的虚拟身份预留 uid 号段,便于其加入房间。
  3. 在控制台开通内容安全审核服务。详细信息请参考 开通内容安全审核

实现步骤

1 创建房间

创建音视频内容安全审核任务之前,您需要通过服务端或客户端 API 创建一个实时音视频房间。创建内容安全审核任务之前,请保证房间已创建且房间中已有一名以上成员。

2 创建内容安全审核任务

创建房间后,客户端陆续加入房间。如果您需要在房间内开启实时音视频内容安全审核,请调用服务端接口创建内容安全审核任务开启审核。开启后,内容安全审核云服务会自动通过指定的 uid 以虚拟房间成员身份加入指定房间,实时监听房间内的音视频流,以此进行内容安全审核。

审核结果以消息抄送方式发送至您预留的抄送地址。如果您需要通过其他地址接收审核结果,可以在调用 API 时,在入参中指定新的抄送地址。

3 接收审核结果

房间成员陆续加入房间,开始音视频通话。当内容安全审核服务在房间中监听到违规内容,会发送内容安全审核结果,结果以消息抄送的方式发送至您的预留抄送地址。默认使用您在控制台中配置的消息抄送地址,您也可以在创建审核任务时指定其他地址接收审核结果。抄送内容请参考 内容安全审核事件

内容安全审核基于监听到的音频片段和视频截图进行机器审核,您可以调用服务端 API 查询审核视频截图查询审核音频断句,获取检测过程中生成的音频片段和视频截图。

4 本地业务处理

您的本地业务服务器需要基于内容安全审核结果进行相关业务数据处理。您需要在您的本地项目中实现相关的处理逻辑。

5 结束内容安全审核

该房间不再需要内容安全审核服务时,或房间结束后,需要主动调用接口停止音视频内容安全审核停止任务。

×

反馈成功

非常感谢您的反馈,我们会继续努力做得更好。