尚权推荐SHANGQUAN RECOMMENDATION

一、犯罪控制义务的立法形成

在传统上，犯罪控制义务属于法定的国家保护义务，其义务主体指向国家，对应个人不受犯罪侵害的权利。“国家保护义务是基本权利的保护义务”，在《宪法》《刑法》《治安管理处罚法》中拥有明确的规范性依据。对于基本权利的国家保护，通过国家履行犯罪控制职责或义务的方式保护国民免受犯罪侵害。随着人类步入“平台社会”，犯罪控制义务的主体从国家扩展至互联网平台。具有巨大规模效应和社会动员能力的社交、购物、支付、内容等平台推动了社会的再组织化和再中心化转型，个体的数字化生存无不依附于平台，国家治理须臾离不开平台的技术能力和组织能力。作为新型数字基础设施，平台实现了网络空间与现实空间的虚实交融，在最大范围、最强程度上整合了双层社会。具有规模效应和网络效应的平台成为国家开展组织化调控的信息中枢和组织通道，平台的“主体责任”被政策文件和法律法规反复强调，平台被视为双层社会的“看门人”（gatekeeper），即“在国家能力有限的情况下有能力修正他人行为的非国家机构，其通过流通渠道控制和内容审查等形式防范或减少非法信息的传播。”主体责任的承担和看门人的定位形塑出“国家管平台、平台管用户”的治理模式，新模式从治理逻辑上有别于国家直接干预违法个体的传统策略。

当前，基于平台的治理实践极为丰富，尤其是超大型平台均深度参与了网络犯罪治理。据调研了解，阿里巴巴集团每年向公安机关移送的刑事案件线索超过一万条。“截止2021年，腾讯公司协助公安机关打击网络黑灰产涉案金额超800亿元；识别恶意网站、恶意APP、骚扰诈骗电话累计4.09亿、0.94亿、995.99万。”字节跳动公司与公安机关合作，邀请上万家公安机关新媒体入驻今日头条和抖音短视频平台，利用平台开展全民线上反诈宣传和被害预防。上述实践的规范性依据在于互联网平台承担的犯罪控制义务，其最初蕴涵于概括式、综合性的“安全保护义务”中，而后逐渐形成了类型化、专门化的犯罪控制义务。

（一）以综合性的安全保护义务为起点

为保障公共安全、网络安全及平台用户的合法权益，国内外法律为平台设定了系统化的安全保护义务，其包括内容审查义务、协助执法义务、信息保存义务、数据报告义务、个人信息保护义务等。相关法规范虽未直接列明犯罪控制义务，但在体系化的安全保护义务中蕴涵着丰富的犯罪控制内涵。

以被动回应的协助执法义务为例，2020年12月，欧盟公布的《数字服务法（草案）》（Digital Service Act，简称DSA）第8、9条规定了平台的协助执法义务，即网络服务提供者有义务配合司法或行政机关依法下达的“对非法内容采取行动的指令”和“信息提供指令”。我国《反恐怖主义法》第18条、《网络安全法》第28条、《数据安全法》第35条均规定了平台协助公安机关侦查犯罪的义务。协助执法义务指向公安机关侦破犯罪的平台协助，其本质在于平台回应和配合执法机关的犯罪控制。

以主动介入的内容审查义务为例，2017年德国通过的《改进社交网络中法律执行的法案》（简称《网络执行法》）、2021年5月公布的英国《网络安全法（草案）》规定了网络服务商防范非法内容的安全保护义务。该《网络安全法（草案）》第5条规定的安全保护义务要求网络服务商尽量减少违法内容的存在，尽量减少违法内容存在的时间长度，尽量控制违法内容的传播，尽快删除被举报的违法内容。DSA第三章为平台设定了“维护透明且安全的在线环境应尽的勤勉尽责义务”，简称“勤勉尽责义务”（Due diligence obligations），一改此前以“通知-删除”为内核47条、新修订的《未成年人保护法》第80条第2款亦规定了网络服务提供者的内容审核义务。平台对非法内容的主动审查和积极处置不仅能防范非法信息的在线传播，还起到预防恐怖主义犯罪、网络诈骗等违法犯罪的治理功效。

（二）走向专门化的犯罪控制义务

随着新型网络犯罪的挑战愈发严峻，为全面落实互联网平台在网络犯罪治理中的主体责任，我国相关立法开始出现类型化和专门化的犯罪控制义务。2021年1月，国家网信办、工信部及公安部联合起草的《互联网信息服务管理办法（修订草案征求意见稿）》（简称《征求意见稿》）第21条分两款规定了平台的犯罪控制义务。该条第1款规定：“互联网服务提供者应当采取技术措施和其他必要措施，防范、发现、制止所提供的服务被用于实施违法犯罪。……互联网服务提供者发现网络违法犯罪行为，应当保存有关记录，并向网信部门、电信主管部门、公安机关报告。”第2款规定：“网信部门、电信主管部门、公安机关等有关主管部门发现互联网信息服务提供者存在违反真实身份查验要求的行为或者其他网络违法犯罪行为，应当要求互联网信息服务提供者采取消除、制止等处置措施，停止相关服务，保存有关记录，并向网信部门、电信主管部门、公安机关报告。”《征求意见稿》第52条将“互联网信息服务”界定为“为用户提供互联网信息发布和应用平台，包括且不限于……等互联网服务”，故而第21条通过犯罪控制义务确立了平台作为数字社会“看门人”的主体定位。《征求意见稿》第42条规定了未有效履行犯罪控制义务的平台责任，即“互联网服务提供者违反本办法第二十一条规定的，由网信部门、电信主管部门、公安机关依据各自职责给予警告，责令限期改正，没收违法所得；拒不改正或者情节严重的，处10万元以上50万元以下罚款，并可以责令暂停相关业务、停业整顿、由原发证机关吊销相关业务许可证或者吊销营业执照，对直接负责的主管人员和其他直接责任人员，处1万元以上10万元以下罚款。”实际上，履行该义务不力的法律后果远非第42条之行政责任，《刑法》第286条之一“拒不履行信息网络安全管理义务罪”对网络服务提供者拒不履行网络安全管理义务达到情节严重的甚至要追究刑事责任。

2021年10月，提请全国人大常委会审议的《中华人民共和国反电信网络诈骗法（草案）》（简称《反电诈法》）以“第四章互联网治理”的6个条文为互联网服务提供者（以互联网平台为代表）设定了体系化的反电诈犯罪控制义务。《反电诈法》第18条为互联网服务提供者设定网络实名制的审核义务；第19条设定了针对异常账户和涉案关联账号的处置义务；第20条设定了针对涉诈移动互联网应用程序的监测义务；第21条设定了针对互联网域名的核验义务、记录留存义务和溯源义务；第22条设定了针对涉诈黑灰产业的监测防范义务；第23条第1款为被动的协助执法义务，第2款为主动的可疑线索识别和移送义务，该条款的立法思路与《征求意见稿》第21条存在异曲同工之处。

此外，2021年施行的新版《未成年人保护法》增设了网络服务提供者的犯罪控制义务。该法第80条第3款规定，“网络服务提供者发现用户利用其网络服务对未成年人实施违法犯罪行为的，应当立即停止向该用户提供网络服务，保存有关记录，并向公安机关报告。”该条款明确了平台对用户实施以未成年人为侵害对象的违法犯罪具有控制义务。2020年3月施行的《网络信息内容生态治理规定》第10条规定，“网络信息内容服务平台不得传播本规定第六条规定的信息，应当防范和抵制传播本规定第七条规定的信息。”该条款为平台针对用户传播非法信息的违法犯罪设定控制义务。2022年3月施行的《互联网信息服务算法推荐管理规定》第9条规定：“算法推荐服务提供者应当加强信息安全管理，建立健全用于识别违法和不良信息的特征库，完善入库标准、规则和程序。发现未作显著标识的算法生成合成信息的，应当作出显著标识后，方可继续传输。”该条款要求以算法实现对非法信息内容的技术反制，从而为算法推荐服务提供者（平台的另一重身份）设定相应的犯罪控制义务。

可以预见，在未来仍将出现为互联网平台设定和强化犯罪控制义务的不同位阶的法规范，这些法规范将犯罪控制义务从综合性的安全保护义务中抽离出来予以专门设定，为犯罪之平台治理提供了规范性依据。实际上，犯罪控制义务的立法形成背后有着深刻的正当性理由，对正当性理由的展开有助于从更广阔的治理变革视野探究犯罪控制义务法定化的成因。

二、平台承担犯罪控制义务的正当性理由

自人类步入虚实交融的数字社会，犯罪治理的底层逻辑从国家直接干预违法个体转向国家通过平台对用户的间接治理，由国家、平台、用户三方耦合的数字科层制日渐成型。平台构成了将法律落实于治理实践、将国家权力延伸至平台生态系统的组织通道。平台对安全保护义务和犯罪控制义务的履行成为“国家管平台、平台管用户”策略实现的法治路径。具言之，平台承担犯罪控制义务的正当性理由如下：

（一）违法犯罪寄生于平台生态系统

如今，我国的犯罪态势发生了从“城市吸引犯罪”向“网络吸引犯罪”的结构性变化。随着“平台成为以实现用户间的组织、交互为目的的数字基础设施，”网络空间被各类平台生态系统再组织化和再中心化，平台生态系统成为数字社会中人类活动的新场域，“网络吸引犯罪”的实质在于犯罪是一种平台现象。

一方面，“网络中的犯罪”可解读为“平台内的犯罪”。绝大多数犯罪人均具有社交、购物、支付、出行、金融等平台的用户身份，其信息流、行为流、资金流、交易流、物流发生于平台生态系统，犯罪团伙成员之间、涉案法人之间、犯罪人与被害人之间的在线差异交往均依托于特定平台关系，网络诈骗、网络赌博、网络传销等违法活动均寄生于平台服务之中。

另一方面，大多数“现实中的犯罪”可视为“与平台有关的犯罪”。绝大多数犯罪人均具有某一个或几个平台的用户身份，无论是网络中的违法还是现实中的犯罪均留有相当数量的数字印迹，平台生态系统或是犯罪的发生空间，或为追查线索提供不可或缺的必要条件。即便是盗窃、抢劫等传统犯罪在侦破环节也不可避免要从平台生态系统中找寻案件线索；即使是从不使用社交网络和智能设备的人也不得不与互联网平台的用户接触，从而被间接纳入平台生态系统。

可见，无论“平台内的犯罪”还是“与平台有关的犯罪”均系一种平台现象，平台生态系统实际构成了犯罪治理的主阵地和最前沿。作为平台生态系统的创建者和运营者，互联网平台获取了巨大的经济利益和海量的数据资源，成长为对用户具有支配地位的“超级权力体”，故而由互联网平台防范、发现、制止寄生于平台生态系统中的违法犯罪具有充分必要性。

（二）平台负有防范用户被害的道德义务

道德的目的在于恶的最小化和善的最大化。兼具法律主体和道德主体身份的企业在营利与守法原则外，还须遵循三个基本道德原则。其一，危害规避原则，即企业应避免造成不必要的社会危害；其二，公平原则，企业的所有行为都应是公平的；其三，人权原则，即企业应尊重人权。道德原则对于平台型企业同样适用，与犯罪控制义务联系最紧密的莫过于危害规避原则。危害规避原则成为平台承担犯罪控制义务的道德根基，其要义在于平台负有保护用户合法权益的道德责任，以避免用户在接受平台服务的过程中遭受犯罪侵害。危害规避的道德原则派生出平台的消极道德义务和积极道德义务。

其一，平台的消极道德义务要求平台不作恶、不损害用户的合法权益。在“用户即数据”“用户即商品”的商业模式下，作为数据控制者的平台与作为数据主体的亿万用户之间的平台关系不应仅限于合同关系，而应更具有实质意义上的“数据信托”（Information Fiduciary）关系。耶鲁大学法学院Jack M.Balkin教授认为，平台作为信息受托人使用个人信息应遵守严格的“信托义务”（Fiduciary Duty），以委托人利益为核心在合理范围内使用个人信息，不得将个人信息用于损害委托人权益的活动。平台作为信息受托人应承担对用户的保密义务、注意义务与忠诚义务。消极道德义务是社会对平台的最低限度的道德要求，也是平台勤勉尽责履行积极道德义务的基础。

其二，平台的积极道德义务要求平台承担起平台生态系统运营者的主体责任，防范不法分子利用用户身份和平台服务从事网络黑灰产业、传播非法信息、实施网络犯罪等违法活动，保障用户的人身、财产、人格等权益不受犯罪侵害。以非法内容审查为例，尽管为网络色情、网络赌博等黑产引流的非法信息在平台生态系统中确有一定受众，这些受众的流量对平台意味着广告收入；但任何损害国家安全、公共利益、国民权益的平台活动均是不正当的，须平台履行积极道德义务予以主动防范。积极道德义务是平台对社会及用户必须全面履行的道德责任，并与消极道德义务一道构成了平台承担犯罪控制义务的法理依据。

（三）平台担负保障网络安全的主体责任

“政府管辖是地域性的，但互联网不为边界所限，两者的冲突将制约国家治理的空间。”这种冲突在犯罪治理中表现的尤为明显。针对街面犯罪的传统科层治理是典型的属地管辖，而新型网络犯罪跨地域甚至跨国发生。“政府有界、犯罪无界”的现状造成了组织化调控失灵的危机。习近平总书记指出，“网络络空间是虚拟的，但运用网络空间的主体是现实的。”这要求网络犯罪治理从“管内容”向“管主体”变迁、从直接管控违法个体向间接管控平台转型，要求以“国家管平台、平台管用户”的方式防控新型网络犯罪。由此，作为国家治理的组织通道，互联网平台的主体责任成为数字社会的犯罪治理关键。

“面对庞大的用户，平台企业不仅从事经营行为，而且需要进行管理，这种管理很像政府管理，这不是传统小打小闹式‘企业办社会’，简直就是‘企业办政府’”。主体责任的提出将拥有社会权力的互联网平台纳入科层制体系，通过为其设定安全保护义务及犯罪控制义务，使“通过平台的治理”成为双层社会的“中间制度”，使平台的社会权力被驯化为体现国家意志的“中间权力”，使平台进化为犯罪治理的组织载体。在“中间制度”和“中间权力”的调控下，“一个有边界的互联网日益成为普遍事实，国家与非国家行为体的一致性愈发明显，即国家通过代理策略自觉地把一定权力交给非政府行为体。”国家通过为平台设定安全保护义务和犯罪控制义务的形式外移治理权力，平台尤其是超大型在线平台作为新型治理主体登上历史舞台，成为网络空间治理及犯罪控制的超级责任体。

（四）平台具备控制犯罪的治理优势

平台对用户的道德义务和对社会的主体责任的最终实现离不开其在数据、技术和组织上的治理能力。“道德的要求是一种‘应该’去做的事情，而这种应该去做的事情同时也是‘能够’去做的事情。”“监督者控制潜在危险的义务通常来源于其对危险源的控制能力”。平台既是借助超级APP坐拥海量用户的网络中介，也是以新型数字技术掌握用户数据的控制者，更是双层社会中实施在线治理的组织者。“数据控制者获取的数据并非一般商品，而是数据主体的生命密码。”“用户即数据”的商业逻辑形塑出平台控制用户的“控制者在线”图景，平台在平台生态系统中运用大数据、云计算、人工智能等技术实现了对用户违规违法的监测、预警、关联、自动化干预、线索输出等在线控制，海量数据成为平台控制犯罪的治理资源，新型技术构成了平台控制犯罪的得力工具。

在数据优势和技术优势基础上，平台还拥有独特的组织优势，个体的数字化生活无不依赖于特定平台，个人数据和社会数据最终汇聚于平台，与犯罪有关的数字轨迹大多留存于平台覆盖的特定网域，各种治理策略多依赖于平台的线上调控，平台与国家、平台与用户、国家与用户的关系建构起平台治理的基本框架。平台成为国家主体向网络空间延伸、运用数字技术、掌控双层社会、实施在线控制的关键组织枢纽。在平台治理推动下，科层制演变为基于平台的“数字科层制”，犯罪治理的实现路径从“政法部门—犯罪问题”转换为“政法部门—互联网平台—犯罪问题”。相对网络犯罪治理距离更近的平台具备上连国家、下接用户、掌控平台生态系统的组织动员能力，引入平台更符合“以成本最小化目的来配置权利和义务”的经济原则。基于上述优势，将犯罪控制义务分配给平台是一种更为经济、更有效率、更加合理的制度安排。

三、义务的内涵：主动控制与响应控制

基于前述正当性理由，以《征求意见稿》为代表的法规范为平台设定了应当履行的专门性犯罪控制义务，对平台提出相对明确的义务要求。《征求意见稿》第21条第1款要求平台主动实施控制行为及附随行为，其实质在于主动控制；第2款要求平台积极响应执法机关的犯罪控制指令，其要义在于响应控制。

（一）平台对违法犯罪的主动控制

平台的主动控制是犯罪控制义务的核心内容，《征求意见稿》第21条第1款以“手段+目的”的规范结构，要求平台运用技术措施和其他必要措施，防范、发现、制止所提供的服务被用于实施违法犯罪。

（1）平台主动控制的手段行为

“应当运用技术措施和其他必要措施”是平台主动控制违法犯罪的手段行为。“技术措施”主指平台以信息技术研发网络黑产监测系统和智能风控模型，用以识别平台生态系统中的违法犯罪风险，其本质在于以数据监控为内核的技术治理。同时，技术的运用离不开特定的组织安排和制度安排，技术治理亦离不开“其他必要措施”在组织层及规则层的保障。“其他必要措施”包括且不限于平台根据法规范制定非法内容审核、网络安全保护等方面的平台规则；成立网安实验室，研发监测网络违法的智能风控系统；设立网安内控部门运用在线风控系统打击网络黑产，向公安机关输出案件线索和固定电子证据等。

在“技术措施”和“其他必要措施”的协同下，阿里巴巴集团安全部依托钱盾实验室、光年实验室等八个实验室开展系统化在线风控，通过技术反制措施识别用户实施的网络犯罪，每年向公安机关移送刑事案件线索超过一万条；腾讯集团安全管理部依托反诈实验室等多个实验室研发神茶反钓鱼系统、神侦资金流查控系统、神羊情报分析系统、鹰眼反电话诈骗系统、麒麟伪基站定位系统等风控软件，基于腾讯云服务向政府开放使用，电诈识别准确率高达95%；字节跳动公司对抖音系统中用户违规注册、刷量、刷粉、发布违规违法内容等行为，依靠人工智能和人工复核结合的审查机制日均拦截处理违规违法信息10亿次。

（2）平台主动控制的目的行为

“防范、发现和制止所提供的服务被用于实施违法犯罪”是平台主动控制的目的行为。对于目的行为的理解，可从三个方面展开：

第一，在义务履行的空间上，平台针对网购、支付、社交等平台生态系统所覆盖的网域开展主动控制。平台生态系统重塑了Web3.0时代的互联网世界，构成双层社会的人类活动空间。《征求意见稿》第21条第1款的“服务被用于实施违法犯罪”，是指在传统犯罪全面触网背景下，远程非接触性的网络违法或发生于平台生态系统、或利用平台服务、或与平台生态系统存在千丝万缕的关联。极具匿名性和复杂性的新型网络犯罪及网络黑产寄生于平台生态系统，故而平台生态系统成为平台主动控制的治理场域。

第二，在义务履行的对象上，平台针对用户实施的违法犯罪及用户从事的网络黑灰产业开展主动控制。网络违法的实施者均具有平台的用户身份，其违法活动滋生于网络黑产的土壤。网络黑产由提供基础工具（打码平台、破解软件、伪造工具、代理工具、交流交易平台等）的上游、黑产信息支撑（社工库、垃圾注册、盗号洗号、信息盗取、数据爬虫等）的中游、违法犯罪实施（电诈、网络赌博、网络色情等）的下游共同组成。据报道，我国网络黑产从业者超150万人，黑产规模达千亿级别。笔者调研获知，据产业界评估，网络黑产的从业人员超过500万人。从事黑产的违法用户按照分工形成了隐匿且庞大的地下经济。在技术服务层，违法用户提供流量服务、过人脸等验证服务等；在技术产品层，违法用户开发嗅探设备、伪基站、猫池等非法硬件与木马、电报群、钓鱼链接、群控、撞库等非法软件；在信息贩卖层，“料商”非法贩卖个人和企业四件套、身份、财产、轨迹、交易记录等信息；在卡、号注册和贩卖层，“号商”实施恶意注册、虚假认证等活动，以规避网络实名制、掩盖违法用户身份；在组织层，处于犯罪集团核心的“金主”为网络违法提供资金、培训管理层及结算分成；在洗钱服务层，“水房”为作案团伙提供资金跨境转移服务，通过多种渠道帮助涉案资金逃脱追踪。在犯罪链条中，电诈等实施犯罪环节不过是黑产冰山一角；仅打击黑产的下游犯罪如同割韭菜一样无法治本，对黑产的全链路治理才是平台主动控制的对象。

第三，在义务履行的内容上，平台的主动控制包括防范和识别、制止违法犯罪，覆盖事前防范、事中阻断和事后处置的全链路。在防范层面，犯罪控制义务要求平台将法规范转换为平台规则，以此构建平台生态系统的安全保护体系，开展打击电诈、保护个人信息、非法内容审查等多种形式的防范举措。在识别和制止层面，犯罪控制义务要求平台将智能风控系统和人工审核相结合，及时发现和精准处置用户违法。2019年，字节跳动安全中心开展打击黑产的“啄木鸟2019”行动，封禁涉嫌刷量作弊的违规抖音账号203万个，举报涉嫌刷粉刷量黑产网站113家，拦截黑产刷量注册抖音账号请求9199万次，拦截黑产刷赞、刷粉刷量请求5.51亿次。平台治理的防范与识别、制止措施往往一体化实施。例如，阿里巴巴联合数百家品牌商成立打假联盟，依托平台规则开展在线风控，仅2020年协助执法机关及品牌方识别和制止112起案件，案值超23亿，取得积极的预防效果。

此外，根据《征求意见稿》第21条第1款的后半部分，平台发现网络违法犯罪后，应当保存记录，并向网信部门、电信主管部门、公安机关报告。保存记录和报告义务是平台主动控制的附随要求，基于附随要求的附随义务可谓平台主动控制犯罪的应有之义。

（二）平台对控制指令的积极响应

根据《征求意见稿》第21条第2款，主管部门发现网络违法犯罪时，应当要求平台采取消除、制止等处置措施，停止相关服务，保存有关记录，并向主管部门报告。该条款要求平台积极响应主管部门、执法部门的犯罪控制指令（如公安部门的《调取证据通知书》），及时执行指令中的协助执法要求。平台响应指令的前提是主管部门和执法部门发现平台生态系统中发生网络违法犯罪，基于“国家管平台”的规制路径向平台发出控制指令。与主动控制不同，平台对主管部门和执法部门指令的响应、配合和协助具有被动性。《网络安全法》第28条和《征求意见稿》第22条为平台的协助执法提供了法律依据，要求平台积极回应公安机关有关调取证据、提供案件线索、报送网络轨迹等的犯罪控制指令。

对此，最大的争议莫过于如何正确理解“主管部门发现网络违法犯罪”后向平台发布指令的时间节点，究竟是在刑事立案后，还是在立案前的初查阶段即可向平台发布指令？这关涉平台作为数据控制者在社会安全防卫与国民权利保障之间如何保持平衡的问题。如果在立案前发出指令，无疑意味着允许平台受委托对未进入立案阶段的任何线索或任一用户开展数据侦查，意味着任一用户、任何网络活动均能被纳入侦查视野。这显然模糊了数据侦查的法治边界，违反了权利保障的法治原则。如果在立案后发出控制指令，平台采取各种处置措施才具备充分的合法性依据。因此，在一般意义上，主管部门和执法部门向平台发布指令的时间应理解为在刑事立案后；但这一理解也并非是绝对的。对危害国家安全犯罪、恐怖主义犯罪等具有严重社会危害性的犯罪，正式立案前的预测性侦查及平台的预防性处置极具必要性。《反电诈法（草案）》第29条规定：“经国务院打击治理电信网络诈骗工作机制决定或者批准，国家金融、通信、互联网行业主管部门和公安部门对电信网络诈骗活动严重的特定地区，可以采取相应的风险防范措施。”该条款在事实上为执法部门及其委托的互联网平台在刑事立案前实施可识别性更强、手段更灵活、实用性更显著的反诈风险防范措施提供了法律依据。囿于平台履行犯罪控制义务的一般性标准尚存在一定的法律空白，对严重犯罪开展预防性数据侦查的法治边界亟待厘清，包括《反电诈法（草案）》第29条的适用程序、适用标准及防范范围仍须进一步明确。庆幸的是，主管部门已注意到这一问题，《征求意见稿》第22条在规范互联网服务提供者的协助执法义务时，对该问题的立法完善留有伏笔，即“技术支持和协助的具体要求，由公安机关、国家安全机关会同电信主管部门等有关部门另行制定。”

从《征求意见稿》第21条第2款的文义看，平台响应指令的内容包括三个方面：

其一，采取消除、制止等处置措施，停止相关服务。“停止相关服务”亦属于平台的处置措施。处置措施既包括识别涉嫌违法的用户，调查违法用户的特征、关系、轨迹、行为等事项；包括在主管部门指令的基础上开展数据侦查，深挖违法犯罪线索，锁定其他尚未被掌握的违法用户；也包括及时删除非法信息内容；还包括停止对违法用户的平台服务，封停社交、交易、金融等账号等。

其二，保存有关记录。这是固定电子证据、保障案件司法处遇的应有之义。2016年“两高一部”《关于办理刑事案件手机提取和审查判断电子数据若干问题的规定》为网络服务提供者设定了冻结电子数据等保存记录的协助义务。从性质上看，保存有关记录属于平台响应犯罪控制指令的“信息收集存储义务”。对于立案后主管部门发布的犯罪控制指令，平台应对涉案数据“应搜尽搜”；对于立案前针对特定严重犯罪的犯罪控制指令，平台应为侦查机关提供一定范围的方向性信息，以便侦查机关经营线索且完成初查，待在正式立案后平台再进一步履行保存有关记录的义务。

其三，向主管部门报告。在对违法用户开展处置措施和保存记录后，平台应向主管部门报告犯罪控制指令的执行情况，以便主管部门监督。平台的报告义务清晰地反映出国家和平台之间的管理与被管理关系。权力系“能够产生强制性服从的能力”，国家拥有犯罪治理的权力，平台则为承担犯罪控制义务的责任主体。同时，平台对用户的处置反映出平台与用户不仅存在私主体间的合同关系，更具有管理与被管理的权力关系，即平台对用户有“哪怕遇到反对也能贯彻自己意志的任何机会”。值得注意的是，从权力关系看，平台对用户贯彻的并非是自身的意志，而是国家意志。平台对用户的社会权力源于其承担的犯罪控制义务，故而平台治理实际是国家通过平台这一组织通道所实施的间接治理。

总之，互联网平台的犯罪控制义务聚焦于平台对用户违法犯罪的主动控制与响应控制，既体现出平台主动控制的保护义务，也蕴涵着被动回应的响应控制意蕴。

四、义务的实现：对非法内容的勤勉尽责审查

《征求意见稿》等法规范明确了以主动控制和响应控制为内涵的犯罪控制义务，但尚未明确该义务的实现方式和履行标准，包括平台采取的技术措施和其他必要措施的事项清单及具体要求等。由此，保障犯罪控制义务不被虚置成为平台治理高效开展的关键所在。鉴于网络违法犯罪在平台生态系统中呈现出各种形式的信息形态，故对非法信息内容的审查成为平台履行犯罪控制义务的基本方式，平台的主动控制和响应控制均以非法内容审查为内核。平台对非法内容的审查经历了从被动审查到主动审查、从有限审查到全面审查的深刻转变，这种审查义务蕴涵着浓厚的注意义务属性，并趋向于勤勉尽责的义务标准。

（一）从被动审查到主动审查的转变

从审查方式看，根据《网络安全法》《征求意见稿》等法规范，我国的平台审查方式既包括接受投诉和举报的被动审查，也包括平台的主动审查。在域外，平台审查方式最初仅限于根据“通知—删除”规则对用户发布和传播的非法信息进行被动审查，但遗憾的是以“通知—删除”为路径的被动审查治理效果不佳。“通知—删除”规则源于美国《数字千年版权法》第2章第512条，该“避风港”条款要求网络服务提供者在收到权利人通知的前提下履行删除义务，从而获得法律豁免。该规则是企业承担守法的社会责任的体现。“通知—删除”规则后被《英国反恐法》（Terrorism Act 2006）和《欧盟反恐指令》（EU2017/541）等法案吸纳，为平台设定针对涉恐信息的“通知—删除”审查机制。有学者指出，《英国反恐法》的“通—删除”机制存在巨大缺陷，未能明确“删除义务”的主体，导致网络服务提供商的具体控制义务不明；第3条第5款和第6款针对相似内容的注意义务为平台提供了抗辩条款，导致该机制的执行效果不佳；法案规定的“送达”为实物介质送达，使流程运转极为缓慢，直接增加了时间成本。

2017年德国《网络执行法》完善了“通知—删除”规则，要求拥有超过200万用户的平台，应在收到投诉的24小时内删除“明显非法”内容，违反规定的公司面临最高5000万欧元罚款。该法在“通知—删除”规则外，引入政府的外部合规审查，针对可能违反刑法的内容，加强对网络平台自我规制的规制，以督促网络服务提供者履行主动审查义务，要求社交网络平台设置用户友好型投诉程序，并承担定期通报义务。由此，平台对非法内容的审查被更好地纳入政府监管的制度框架，审查标准和流程得以明确。实践证明，平台主动审查有着比“通知-删除”规则下的被动审查更显著的治理效果。Facebook公司2020年共处置用户发布的涉恐信息3330万条、网络仇恨信息1910万条，2021年第一季度处理涉恐信息900万条、网络仇恨信息980万条。其中，99%以上的非法信息由平台主动发现。在数字化时代，平台生态系统中上传和流动的海量信息组成了蔚为壮观的“数据宇宙”，仅凭基于“通知—删除”规则的用户投诉或政府外部监管根本无从有效控制非法信息传播。相对平台生态系统，政府监管部门的治理距离过于遥远，平台生态系统运营者的主动审查显然更有助于实现网络犯罪的及时阻断。

2018年欧盟公布的《关于防止恐怖主义内容在线传播的提案》第1条明确了信息托管服务提供商应承担主动规避涉恐信息的注意义务，预防利用其服务传播恐怖主义的行为，在必要时确保迅速删除涉恐信息。该提案第6条规定平台应采用主管当局认可的有效积极措施，以自动化决策防范相似违法内容重复上传，检测、识别并快速删除恐怖主义内容或禁止恐怖主义内容的域内访问。2018年生效的《欧盟视听媒体服务指令》要求对视频共享平台构建共同监管的规制体系。该指令要求成员国应确保其管辖的视频共享平台对可能损害未成年人身心和道德发展的信息、具有煽动性的暴力或仇恨相关的信息、涉刑事犯罪的信息履行监管义务。2018年生效的美国《反网络性交易法案》也要求平台承担对网络卖淫的主动审查义务。2020年公布的《数字服务法（草案）》（DSA）更是明确了平台对非法内容的主动审查义务（下文详述）。可见，不仅我国强调平台对非法内容的主动审查，以欧盟为代表的全球主要法域也开始重视平台的主动审查。

（二）从有限审查到全面审查的扩张

从审查对象看，欧盟的平台主动审查主要聚焦于涉恐怖主义和儿童色情的非法内容；但非法内容的范围呈扩张趋势。DSA法案附则第12条规定，“‘非法内容’的概念应作广义的理解，涵盖与非法内容、产品、服务和活动有关的信息。特别是，该概念应理解为信息根据适用的法律本身就是非法的，无论其形式如何。”待DSA法案生效后，平台的审查范围将从传统的涉恐、涉仇恨犯罪、涉儿童色情扩张至包括网络售假、网络诈骗等更广泛的非法内容。非法性的判断依据在于欧盟法及与欧盟法一致的成员国法律。值得注意的是，虽然DSA第7条不承认平台具有对信息内容的一般性审查义务，但附则第28条规定平台不承担一般性的监测义务并不影响具体情况下的监测义务，特别是不影响主管机关根据国家立法和本条例规定的条件而下达的命令。鉴于成员国法律内涵的广泛性以及执法部门控制犯罪的需要时常处于变动之中，执法部门对平台下达的指令存在较强不确定性，平台据此承担的审查义务实际具有相当程度的广泛性。可见，在欧盟，平台对非法内容的审查绝非有限审查，至少是具有开放性的积极审查。

DSA附则第57条进一步表明平台审查义务具有积极性乃至广泛性的特点。该条款要求超大型在线平台应深入评估涉及三类系统性风险的信息：第一类风险涉及通过散布非法内容的滥用服务和实施非法活动；第二类风险涉及对行使《欧盟基本权利宪章》保护的基本权利产生的影响；第三类风险涉及以通谋方式操纵平台服务，对健康、公民言论，选举程序、公共安全和未成年人保护具有可预见的影响，同时应考虑维护公共秩序，保护隐私及打击欺诈性商业行为的需要。上述系统性风险广泛涵盖各种利用平台服务实施的违规违法犯罪风险，具有相当程度的开放性。可见，超大型在线平台的审查义务即便在法案中不使用普遍性或一般性的用语，也在实质意义上蕴涵着相当程度的普遍性和一般性。

相较欧盟的审查对象扩张，我国的平台审查义务始终坚持对违法犯罪信息的全面审查。《网络安全法》第9条规定网络运营者应“履行网络安全保护义务”；第47条规定：“网络运营者应当加强对其用户发布的信息的管理，发现法律、行政法规禁止发布或者传输的信息的，应当立即停止传输该信息，采取消除等处置措施，防止信息扩散，保存有关记录，并向有关主管部门报告。”《互联网用户公众账号信息服务管理规定》第12条要求平台对用户公众账号的留言、跟帖、评论等互动环节进行实时管理。《征求意见稿》第16条要求互联网信息服务提供者应建立信息发布审核制度、配备网络与信息安全管理人员、建立网络与信息安全管理制度，加强公共信息巡查。可见，无论是一般性的安全保护义务，还是具体化的内容审查制度，均为平台的全面审查提出了综合性要求。为适应普遍性的审查义务，全球主要超大型在线平台均组织起庞大的内容审核团队，打造出基于人工智能的自动化决策与人工审核相结合的审查流程。近年来，Facebook的内容审核团队急剧扩张，从2012年的50人增长为2020年的1万余人。据调研了解，2020年B站内容筛选团队约有2400名员工；小红书审核员工有1000多人；字节跳动的内容审核员超过2万人。

（三）趋于勤勉尽责的注意义务标准

在主动审查和全面审查的基础上，平台对非法内容的审查应达到何种标准？这直指犯罪控制义务的本质属性。犯罪控制义务源于平台的主体责任，主体责任将平台设定为国家与违法个体之间的“监控中介”（Surveillance Intermediaries）。在“国家管平台、平台管用户”的治理路径下，犯罪控制义务在本质上是平台实施犯罪控制活动的注意义务。这种注意义务不单是“义务主体作为危险制造者而谨慎、小心地行为而不使自己的行为给他人造成损害的消极义务”；还包括作为危险管控者防范危险给社会造成损害的积极义务。在主体责任下，平台对平台生态系统中的违法犯罪或平台服务被不法分子用于违法犯罪应承担积极的注意义务。作为平台生态系统的运营者和数字社会的看门人，平台为避免国家、社会和平台用户遭受犯罪侵害而应承担积极作为的危险规避责任，采取有效措施最大限度地发现和处理非法信息内容，尽可能防范、识别、制止所提供的服务被用于实施违法犯罪。

在域外，平台控制犯罪的注意义务属性获得相关政策法律文件的认可。2019年，英国发布《网络有害内容白皮书》（Online Harms White Paper）提出以“注意义务”（duty of care）替代“通知—删除”的要求，注意义务的内容和标准由监管部门制定，监管部门要求不论用户是否通知或投诉，平台应优先主动审查、积极删除涉恐怖主义和儿童色情的非法内容。《白皮书》要求平台从以下方面履行注意义务：确保内部条款符合监管机构的标准，并适时报告执行情况；严格遵守和履行已制定的内部条款和流程；预防重复性的恐怖主义和儿童色情信息再次传播；在收到举报后采取及时、透明、有效的行动；积极协助司法机关的调查；积极帮助受损害的用户维权；定期审查其对注意义务的履行情况，并及时调整策略。《白皮书》强调的上述“注意义务”是以犯罪风险规避为实质的积极作为义务，包括一系列的主动控制和响应控制行为，并在英国《网络安全法》中获得进一步明确。

在《白皮书》基础上，DSA草案提出更为详尽的积极作为规定，将积极作为的注意义务表述为“勤勉尽责义务”（Due diligence obligations）。DSA第三章以“维护透明且安全的在线环境应尽的勤勉尽责义务”为标题，要求平台以“看门人”身份对非法内容进行主动审查。DSA通过一系列条款细化了“勤勉尽责”的具体要求，第13条规定“中介服务提供商的透明性报告义务”，要求中介服务提供商至少以每年一次的频率，就其开展的非法内容审查活动向社会发布清晰、易于理解且详细的报告，保障公众知情权和监督权。第14条规定平台应建立通知及响应机制，允许任何个人对认为其所提供的服务和特定信息条目中存在非法内容时做出通知，保障便捷有效的在线监督机制。第21条规定了平台的刑事犯罪报告义务，“当在线平台了解到任何可疑信息，怀疑涉及人的生命或安全的严重刑事犯罪已经发生、正在发生或可能发生，应将其怀疑立即通知一个或多个相关成员国的执法或司法机关，并提供相关信息。”刑事犯罪报告义务是非法内容审查的自然延伸，是平台与监管机构的协作形式。第26条规定了超大型在线平台对平台服务中的非法内容传播等系统性风险进行积极管控的义务；第27条要求超大型在线平台对系统性风险采取合理、适当、有效的缓解措施。可见，DSA草案巩固了平台控制犯罪的“看门人”主体定位，明确了平台履行注意义务的勤勉尽责要求，搭建起欧盟应对网络犯罪挑战的全新制度框架。

在我国，平台的勤勉尽责要求全面覆盖风险识别、停止传输、删除信息、防止扩散、保存记录、报告有关部门等犯罪治理的全链路，并体现于主管部门组织平台企业签订的犯罪控制责任书之中。2019年7月，工信部会同公安部、网信办组织阿里巴巴、腾讯、百度等11家单位签订“重点互联网企业防范治理电信网络诈骗责任书”，将犯罪控制义务压实和细化。责任书要求企业必须建立电信网络诈骗防范治理制度体系，严格落实用户账户管理要求，建立违规账户依法关停机制，建立完善诈骗风险巡查预警和快速响应处置机制，建立完善电信网络诈骗技术防范体系，加强企业平台的电信网络诈骗问题清理和新业务的诈骗风险安全评估。目前处于全国人大审议阶段的《反电诈法》充分汲取了责任书的反诈治理经验，将责任书的治理经验上升为法律规定。

责任书要求将犯罪控制的注意义务嵌入平台服务、细化为平台规则，这种勤勉尽责标准具体体现在以下方面：其一，在制度上，责任书要求平台建立电诈犯罪治理的制度体系，明确责任主体、完善平台规则、形成治理闭环，将防范电诈犯罪工作责任的落实情况纳入企业年报。其二，在重点上，责任书要求平台加强对用户账户的管理，严格落实账户关停机制，及时关停发布非法内容的账户，从源头上控制电诈信息的传播。其三，在手段上，责任书要求平台发挥技术优势，加强对电诈犯罪的技术治理，完善平台侧的智能分析系统，形成日常化的主动巡查及快速响应处置机制，创新终端侧的反诈技术产品，提升犯罪风险的事前预警和事中阻断能力。其四，在专项行动上，责任书要求平台落实电诈问题集中清理的任务，识别并补强平台治理的薄弱环节，对平台生态系统进行全面排查，将违规买卖电话充值卡、电话卡、物联网卡等交易活动关停或下架。其五，在风控上，责任书要求平台加强对新业务的电诈风险进行安全评估，在新业务、新应用的立项研发和上线运营等环节强化电诈风险的源头治理。其六，在协同上，完善电诈举报通报的处置流程。对公安通报、用户举报的电诈线索依法核查处置，及时反馈结果；将平台主动发现的违法线索向公安机关和主管部门报告，加强犯罪情报共享和防控协同联动。

根据《征求意见稿》第21条，平台勤勉尽责的注意对象不仅适用于电诈犯罪的防范，还包括对其他利用平台服务实施的各类违法犯罪的防范。由此，犯罪控制义务的勤勉尽责履行成为平台治理的实现路径。为保障平台勤勉尽责地履行犯罪控制义务，不仅《征求意见稿》针对平台履行义务不力的情况苛以警告、责令限期整改、罚款、责令暂停相关业务、停业整顿、吊销业务许可证或营业执照等行政处罚，刑法还对平台未尽职履责设定了刑事责任。《刑法修正案（九）》增设的“拒不履行信息网络安全管理义务罪”在国外刑法中亦有类似规定。2019年生效的澳大利亚《关于分享仇恨暴力内容的刑法修正案》规定，互联网托管服务平台未能及时删除令人憎恶的暴力内容，提供托管服务的负责人将面临最高3年的有期徒刑，并将处以年收入10%的罚款。其中，在《澳大利亚联邦刑法典》第474条之中增加两款规定，该条第33款明确了网络服务提供商、内容服务提供商和主机服务提供商在发现仇恨暴力内容后承担向联邦警察局报告的义务，并规定违反报告义务应承担的罚金刑；该条第34款要求平台在明确本平台或服务器内存在仇恨暴力相关的内容即应立即删除，否则构成刑事犯罪。

五、结语

在以平台为枢纽的双层社会中，犯罪治理呈现“多层级治理”（multi-level governance）的新态势。为回应新型网络犯罪的挑战，在国家对违法犯罪或不法分子的直接治理之外，“国家管平台、平台管用户”的间接性的平台治理勃兴。从治理的制度依据看，平台治理高效推进的关键在于平台对犯罪控制义务的履行。随着《征求意见稿》《反电诈法》等法规范的出台，犯罪控制义务的主体从国家扩展至互联网平台，犯罪控制义务从概括性的安全保护义务中脱胎而出，成为一种以主动控制和响应控制为内涵、以犯罪风险规避为目标、以非法内容审查为方式、以勤勉尽责为标准的法定注意义务。待《征求意见稿》《反电诈法》生效后，平台控制犯罪的勤勉尽责标准应尽快以行政法规或部门规章形式予以明确，从而推动犯罪控制义务从原则性义务走向规则性义务，并进一步转化为体系性的平台规则和算法形态的技术规则，在法律规则、平台规则和技术规则的统合下推动犯罪控制义务的日常化履行。