黑灰产批量注册账号、杀猪盘诈骗、伪造虚假人设等行为持续扰乱互联网平台秩序,风险行为愈发隐蔽,链路化特征凸显,倒逼平台升级风险处置手段。AI技术的落地应用,则帮助平台提升内容识别、风险研判、精细化治理的综合实力。Soul App推出《2026年第二季度生态安全报告》,集中展示平台针对诈骗、黑灰产作弊、虚假人设等风险的技术治理成果。

针对黑灰产账号批量注册、极速发布内容、频繁变换内容的作案特征,Soul App升级原有安全审核能力,强化批量作弊行为识别,将大量风险内容拦截在社区传播链路之前。经过持续优化,相关策略的风险内容处置率由上线初期的约30%提升至60%,有效缩短黑灰产账号在平台当中的活动周期。在诈骗风险治理领域,平台重点甄别“杀猪盘”账号与对应行为,跳出传统固定关键词审核模式,综合账号特征、互动行为、内容语义做综合研判。目前,相关Agent能力准确率已达到93%以上,为前置发掘高风险账号提供强有力的技术支撑。

虚假人设、盗图搬运同样是黑灰产扰乱社区的常见手段,盗用他人照片、虚构身份、批量搬运人设内容,会破坏真实的社交氛围。二季度,Soul累计处置假人设违规账号3万余个,识别并处理相关帖子8万余条,削弱虚假身份内容对用户真实社交体验造成的干扰。除账号层面治理,Soul App对广场、群聊、私聊全场景开展精细化管控,严肃处置低俗擦边、有偿交友、攻击辱骂、违规引流等违规信息。报告显示,平台二季度通过机审直接拦截违规内容400万条,处置相关跟帖评论726万条,累计拉黑违规设备3723个。与此同时,平台日均向2533名用户进行社区规范和文明表达提醒。

平台通过识别审核、流量限制相结合的方式,处理低俗、攻击性、引流类低质信息,日均处理相关低质内容超过13万条。针对“消费托”带来的虚假邀约、诱导线下消费问题,Soul App上线专项自动化治理策略,累计处置相关风险账号约3.2万个,降低用户被虚假社交诱导消费的概率。私聊场景骚扰风险同样不容忽视,Soul App优化女性用户私聊保护机制,依靠风险隔离、多场景账号限制等手段防控骚扰。二季度,Soul日均帮助用户隔绝网暴和频繁骚扰3099次,日均处置存在私聊不文明行为的用户1737个,并通过产品提示日均引导用户文明发言19.9万次。
在打击违规行为之外,Soul App同步推进AI生成内容识别提示、未成年人保护、用户安全科普工作。平台搭建AI图片分层识别链路,后台识别AI生成内容并向用户给出中性提示;新增未成年人发帖AI审核能力,目前,平台主动识别未成年人的比例已超过99%。官方账号“风纪球长”发布案例公示与安全科普,二季度累计触达用户47万人。后续,Soul App会把AI能力、人工审核、产品机制、用户教育深度融合,搭建覆盖账号、设备、社交链路的全流程治理体系,打造安全真实的社交环境。
编辑:faburen4