进阶功能

AI内容审核可以协助企业安审部门完成内容审核。由于机器审核存在一定的误判率,一般需要人工介入完成最终结果判断,实施相应处罚。

1. 审核闭环

带人工审核的一般流程如下:

image

  1. 用户调用AI审核接口,提交审核任务;
  2. AI审核服务检测提交内容,根据设定阈值同步或者异步返回检测结果;
  3. 调用方接收返回结果,人工介入,参考审核内容、结果标签、机审建议和概率值,给出最终审核结果;
  4. 对人审有问题的内容,调用业务后端接口,执行处罚处理。

2. 证据链保存

对于实时流审核和直播互动审核,系统会自动保存被判定为疑似或者违规的视频截图和声音流片段,并将URL连同结果返回给调用方。
URL会保证一段时间有效(一般为3小时),业务需要长期保留违规证据,需要自行转存文件。
每个审核接口都有context(上下文)字段,该字段会跟随结果透传给调用方。用户可以使用该字段填写相关的业务信息。

3. 推送量控制

对于实时流审核和直播互动审核,被系统判断为疑似或者违规的内容,都会回调给调用方。
AI内容审核系统支持对每个业务,每个检测类型,每个标签设定不同的推送阈值。
目前该功能暂未开发给用户自行设置。用户可通过技术支持完成各标签阈值设置,以达到增加或者减少违规推送量的目的。

4. 人工审核依据

人工审核一般可参考违规内容以及返回结果suggestion字段进行审核。review表示疑似需要关注,block表示违规建议处罚处理。
业务也可以参考结果返回的label(标签)和rate(概率值),对推送结果做进一步分类、排序、过滤,以便更集中人审。

更多的使用方式,请用户根据自身系统调整方案。欢迎联系提供您宝贵的意见建议!!

<