媒体融合语境下互联网平台内容生态建设的实践与反思

□

内容提要 本文结合现阶段互联网平台的内容风控实践，分析了行业面临的难点痛点，提出未来需政府、企业、高校等相关主体形成合力，共同优化行业管理体系与运行机制，强化信息共享，重视人才培养，促进互联网平台企业在内容建设方面优化发展。

2019年12月，国家网信办公布了《网络信息内容生态治理规定》，通过八章四十二条，对网络信息内容生产者、网络信息内容服务平台、网络信息内容服务使用者及网络行业组织的主体责任进行了非常明确、细致的界定，这标志着国家对互联网企业内容风险防控责任担当的要求达到了前所未有的高度。各互联网平台也意识到内容安全在企业发展中的重要战略地位，开始更新信息审核技术、搭建内容质量团队；无论是监管层面还是平台实践层面，网络生态建设已经逐步探索出路径。

一、现阶段互联网平台的内容风控实践

1.搭建“管理+执行”风控组织架构

近年来，各大互联网平台均逐步开始搭建内容安全团队。管理层面，内容安全由总编室等内容机构负责，以产品为单位下设安全管理组织，层层把关。执行层面，头部平台均自建审核团队，并不断扩充一线审核队伍，部分平台审核人员规模已达到数千人；中小型平台主要使用第三方团队审核服务，与自建质检团队相配合，保障内容安全。

除日常审核工作外，各平台也配合主管部门不定期开展专项整治活动，成立专项领导小组，小组成员由公司内容安全中心、运营中心、产品部、技术中心、公共事务部等部门主要负责人组成，协调各部门在专项执行方面的工作，确保领导小组的要求和举措能够传达到相关各部门并得到贯彻执行。具体执行层面，通过质检回查和专班团队为班底搭建“专项清查小组”，成员囊括举报对接、客户服务、产品支持等部门，支持专项工作开展。

2.从安全审查到生态建设

《网络信息内容生态治理规定》实施以来，互联网平台的内容安全治理重心从单一安全保障向整体生态营造转移。拓宽内容审核标准边界、拓展审核操作维度、健全推荐算法机制、应用青少年守护模式、全面巡查广告内容、明确用户协议、逐步建立账号信用管理制度、完善举报流程，建立生态安全矩阵。

安全审核层面，为新增发布信息筑起两道安全甄别防线。以内容三审团队为主体，运营团队为辅助，通过机器加人工的“人机结合”方式，建立起内外部常规巡查、专项复查、机器筛查的自查模式，为内容安全建设保驾护航。在此基础上，着力通过敏感词库迭代补充，提升审核后台的自我拦截能力；采取AI违规模型对样本强化学习，增强对平台内容的技术排查能力，及时排查与处置高相似度的内容；内容安全所关注的对象也不再局限于内容本身，细化到内容标题、封面、上传者、价值导向、面向群体等各个环节。

生态建设层面，从传统层面对黄、赌、毒等涉底线层面的关注扩大到对泛化内容的关注，如聚焦政治民生的“清风行动”专项清理，又如聚焦未成年人暑期网络环境的“清朗行动”专项清理，确保网络环境绿色健康。同时，完善投诉渠道，鼓励用户举报不良信息，并与客服、产品支持团队联动，做好用户举报、申诉的复核和处置工作。处置结果除有害内容全面下架外，完善账号封禁处置体系，规范和约束用户行为。

此外，对重点内容、重点领域的关注逐步加强。为确保页面生态健康，互联网平台也着力提升推荐机制，加强对高曝光位内容的管控。

在榜单、push区、搜索框推荐等重要位置上，采取审核+运营双重多道复验的管理模式，安排舆情团队针对站内标题进行不断监测，保持7×24小时巡查。舆情团队与一线团队相互交叉，及时快速发现重点问题，紧盯重点平台和高危账号发布的内容，及时跟进本平台情况，防止同样的高危内容在本平台上继续传播。

传统安全审查工作的手段和重心在于事后“灭火”，较为滞后、被动。近年来，通过舆情监测和舆情分析前置布控，提前预防成为内容安全防控的重要手段之一。建立舆情团队，采取全天不间断追踪梳理分析网络上关联信息，对潜在风险内容，加强相关信息舆情传播、发酵特性研究，深挖细节、精准分析、分析结果成为动态调整审核策略与执行方案的重要依据。

3.完善人员培训体系，维护人才活力

由于内容风控工作专业性强，对从业者知识储备、意识形态敏感度等能力要求高；且需根据实时监管动向和舆情热点更新研判尺度和研判策略，各平台均不断完善风控人员培训体系和培训课程，将新员工上岗培训、常态化提升培训、重大事件时间节点培训结合，以平台日常风控工作积淀的丰富案例为基础，提升培训内容的针对性和实操性，做到活学活用，即学即用，通过持续的班前培训和专项轮训，不断弥补短板，提升全员业务能力。

二、行业难点痛点突出，内容生态建设任重道远

经过多年的实践，目前各平台都已经结合各自产品特点建立了一套较为行之有效的内容安全保障机制和措施，但也面临共性的难点。一方面，需审核的存量、增量内容体量大，机器智能审核能力有限，需要投入大量人工成本、管理成本。另一方面，网络语言形态和视听文本表达日新月异，新问题、新情况层出不穷；国际宏观环境错综复杂，每天都面临各式各样文字、图片、视频形式有害信息的倒灌。平台屡屡被动，应对不暇。

1.内容形态变形复杂隐晦，识别难度及成本高

关键词库作为文本过滤、识别的主要手段，近年来遭遇越来越严重的变异对抗，尤其经过多年经验，用户已经普遍熟悉和了解企业关键词过滤和审核逻辑，有意使用各种隐晦、暗讽等变体形式绕过风控策略。出现各类文字变体，图片也出现借动漫、动物、典故等各类隐秘图片映射的有害信息，技术识别难度极大。为保证有害信息召回，平台不得不投入持续扩大审核人力投入，成本也逐年攀升。

2.行业黑灰产业链猖獗，为恶意用户提供源源不断的账号供给

网络实名制执行以来，基于手机号、验证码等注册登录成为许多网络平台的主要“通行证”，为了“迎合”市场的需求，一些基于所谓“打码平台”“猫池”“卡商”的黑色产品链日益猖獗，形成了庞大的账号生产、盗取、交易等产业链路，为恶意用户源源不断提供成本低廉的垃圾账号，持续输出违法有害信息，而企业封禁账号速度很难追赶上新增速度。同时，此类账号也难以通过实名制定位，追查难度大，亟待监管部门加大行业治理，尤其是针对电信服务的源头治理。

3.人员流动性大，培训成本高

业内专家认为，内容风控产业具有“人才密集型”特质。目前，人工智能对内容的辨别还停留在关键词命中等较为浅层的程度，百分之八十以上的内容风险依然依赖于人工研判，因此需要大量优质的风控专业人员，要求他们必须站在有益于社会的高度去理解内容生态，并拥有丰富、全面的历史、文化、语言、经济、军事等知识储备，才能自如应对各类违规内容及其形态变形。而目前从业人员业务能力普遍不能满足上述要求，尤其是初入行的从业者；市场人才储备也无法满足平台大体量的人才需求。且由于内容安全团队往往人员流动性大，企业投入高成本培训成熟的员工流失率很高。

三、强化行业共享共建，优化管理体系与人才储备

面对亟需解决的难点、痛点，近日，中共中央办公厅、国务院办公厅印发《关于加快推进媒体深度融合发展的意见》，明确坚持正能量是总要求、管得住是硬道理、用得好是真本事。未来需政府、企业、高校等相关主体形成合力，共同优化行业管理体系与运行机制，强化信息共享，重视人才培养，促进行业良性向好发展。

1.建立信息共享机制

目前，各平台内容安全工作还处于各自为战的状态，审核策略、审核机制、不良样本、有害案例等均被列入企业机密，对行业同好讳莫如深。导致许多相似性、重复性的工作内容占用了各平台宝贵资源，也无法在交流和沟通中达成更多行业共识。因此，建议建立黑名单共享、不良样本共享机制等，促进全网管理统一尺度和标准的形成。例如，引导行业建立人工智能模型算法训练所需的公共数据集，在加强隐私保护等基础上，通过免费开放和数据交易等方式，为行业应用提供关键数据资源。

2.实行内容分级分类管理模式

有害内容题量大、种类多样，对平台审核策略、审核逻辑、技术手段和审核员个人能力都是巨大挑战。因此，可对内容实行分级分类管理，不同等级、不同种类的内容采取相对应的审核方式，实现内容审核精细化管理。如，建立白名单制度，对来源规范的PGC内容采取不审或快速审核手段；对军事类、历史类、时政类等研判难度大的内容，分别建立细分领域专业审核团队，由系统分配给在相应领域经验丰富、知识储备量大的审核员做研判处置。

3.加强从业人员职业资格培训

目前我们普遍看到，各平台的一线审核人员学历低、底子薄、工资低，从而影响整体风控成效。市场对审核人员的需求与日俱增，对从业者专业能力的要求也不断攀升。面对巨大人才缺口，政府、企业、高校应当共同统筹开展职业资格培训，培养从业者思想站位与格局、基础审核技巧、政策转化为实操尺度的能力，及运营风控、舆情风控等多方面能力，提升从业者职业素养，帮助企业培养高质量风控人才。

4.加大技术投入力度，不断完善算法及AI能力

目前，人工智能技术在内容审核方面仍然力有不逮，尤其在一些复杂场景、模糊地带，易出现漏判、错判或误伤。未来应当加大对审核及监测侧的技术研发投入，不断迭代强化自主内容安全技术研发部署，进一步强化网站内容安全技术体系建设。设置典型文字、图片样本信息库，通过提高机器审核环节内容的召回率和命中率，持续增强人机协同策略，形成1+1>2的效果。