算法权力兴起、异化及法律规制

目次

一、问题的提出

二、算法权力的兴起与基础

三、算法权力的异化风险

四、算法权力的法律规制

五、结语

摘要 ?在人工智能时代，具有自主学习与决策功能的智能算法与人的行为分离并超越了工具化范畴。算法基于海量数据运算配置社会资源，直接作为行为规范影响人的行为，辅助甚至取代公权力决策，从而发展为一支新兴的技术权力。算法权力以处理海量数据的机器优势、基于复杂算法生态的架构优势与对社会权力运行的嵌入优势为基础，形成了跨越性与隔离性的特征。由于缺乏有效规制，算法权力在商业领域形成与消费者的不公平交易，催生了监视资本主义；在公权力领域嵌入公权力运行的各个环节，甚至成为独立的决策者，严重挑战正当程序制度和权力专属原则。防范算法权力异化，应建立限权与赋权的制度体系。限权制度包括明确算法的应用范围与限制条件，建立正当程序制度和算法问责机制；赋权制度包括赋予公民个人数据权利，建立事后救济制度，加强行业自律以及引入第三方参与合作治理。

关键词 ?人工智能? 算法 ?权力异化 ?法律规制?

一、问题的提出

进入人工智能时代，智能算法超越了以计算机程序为主的形式，以大数据和机器深度学习为基础，具备越来越强的自主学习与决策功能。以“阿法零”（Alpha Zero）、自动驾驶汽车、犯罪风险预测系统为代表，两千多年前亚里士多德畅想的根据人类需求自行工作的工具逐渐成为现实。如今，算法已经深度嵌入社会生活，从新闻推送到手机导航，从预测治安风险到辅助法官量刑，算法逐渐在教育、执法、金融、社会保障等领域接管人类让渡的决策权。

然而，智能算法基于其不透明性和自主性逐渐脱离了工具化的范畴。长久以来，工具化的算法如信用评价算法和保险精算算法等，它们由人设计应用并可以提供具体决策解释。而智能算法通过数据自主学习生成决策，在应用中反客为主，甚至成为“算法权威”指导人类行为和决定信息真实性。进而，其在不透明的决策过程中形成算法黑箱，形成了算法与人类之间的技术支配关系。普通民众被算法技术统治却浑然不知也无力抵抗，如被算法解雇的中学教师、被犯罪预警系统过度执法的有色公民、被基金模型盘剥的底层民众等，这些算法被数据科学家称为数学毁灭武器。

智能算法因不透明性和自主性产生的规制问题引起了学界的关切。规制的目的既包括促进算法的合理应用以增进人类福祉，也包括避免算法的滥用向恶的方向发展。目前，实务界和学术界提出了增强算法透明度、配置算法解释权、设立专门监管机构等方案。这些方案具有一定针对性，但其隐含的假设仍是将智能算法作为“工具”进行规制。实际上，当今的智能算法已经从单纯的技术工具逐步升级为复杂的自主性体系，并通过嵌入社会权力结构发挥作用。因此，算法的合理规制必然要求对智能算法的地位和本质予以深入理解，警惕算法滥用的风险，以应对算法对公民权利和政治权力体系造成的冲击。

二、算法权力的兴起与基础

在人工智能时代，万事万物皆可数据化生存，数据即是信息与社会利益的载体。由于海量数据所需的算力超出人工计算能力，社会资源的分配权力不得不逐渐让位于算法。这使得算法逐渐脱离数学工具的角色，并与数据资源结合成为重要的新兴社会力量。这种力量如何从法律上进行界定，又以何种方式运行并产生效力，成为讨论算法规制的前提。

（一）智能算法的本质与权力化趋势

若从技术角度定义算法，其是通过一系列步骤，用输入的数据得到输出的结果。一份食谱，一项招生政策，甚至人根据天气决定穿什么衣服的思维过程，都是具备输入、输出、明确性、有限性和有效性要素的算法。智能算法作为本文讨论的对象，不仅包括源代码，也包括算法运行的计算网络以及算法赖以决策的大数据，它们共同通过算法决策产生社会影响。

算法主要通过两个步骤层次对社会和个人产生影响：第一层是算法设计，指设计者编写算法决策代码，并输入数据使算法自主学习，优化决策流程的行为；第二层是算法部署应用，企业在其平台上部署应用算法的行为。这两个层次可能合一，也可能分离。例如，电商平台既设计算法也部署和应用算法，通过个性化推荐算法为用户推荐商品，两个层次同一。又如，科技企业设计算法（如门诊系统），医院部署应用算法，通过两个分离的步骤层次提高医院门诊效率。第一层的设计者和第二层的部署应用者对算法都具有较强的控制力，能够预测算法决策结果并作出算法决策的解释。相应的，对算法造成的不利后果，法律评价对象为人在算法的开发或部署行为中是否存在过错，以确定算法开发者或部署者的责任。

智能算法的技术发展催生了算法发挥效力的第三个步骤层次：算法的自主决策。智能算法根据大数据进行自主学习生成决策规则，其不透明性和自主性导致人类无法窥知算法决策的具体过程，从而使算法成为调配社会资源的新兴力量。这主要体现在：

第一，算法通过对数据的占有、处理与结果输出，演化为资源、商品、财产、中介甚至社会建构力量。在人工智能时代，数据同时具有自然属性和社会属性，这表现为数据既是算法计算和运行的对象，又是社会利益的载体。有学者将数据承载的信息视为社会权力的基础，认为一方主体通过占有信息并控制另一方主体获取信息的渠道和程度，同样可以构成权力来源。

第二，算法直接变为行为规范，影响甚至控制个体的行为。正如美国学者莱斯格在《代码即法律》中指出的那样，代码是互联网体系的基石，它有能力通过技术手段规范个人行为。例如，淘宝平台的算法可以对用户的支付宝账户采取取消收款、资金止付等强制措施，用户推翻算法决策需要举证。再以滴滴平台为例，这种看似松散的连接乘客与汽车租赁、驾驶服务的平台，却实质上拥有比传统出租车公司更强的权力——订单的分配和接受、行驶路线的指定、费用的支付与收取、司机与乘客的评分等活动，均要按照算法规定的程序进行。

第三，算法辅助甚至代替公权力，做出具有法律效力的算法决策。公权力或高度依赖算法的事实认定功能（如人脸识别、交通监控），或依赖算法辅助决策和法律适用。在某些领域，算法已经可以直接作为决策者做出具体行政行为。例如，在我国智慧交通体系的建设中，算法可以直接对监控查获的交通违法行为处以罚款，美国联邦寻亲处使用的算法曾误将某公民认定为“拒付抚养费的父母”，并对其开出20.6万美元的罚单。

基于此，智能算法调配资源的力量使其形成了一种事实上的技术权力。权力是社会学和哲学领域的重要概念，凡是特定主体拥有的足以支配他人或影响他人的资源均可称之为权力。技术作为一种征服自然和改造自然的力量，本身没有价值取向，也不具有权力的属性。但是，如果技术对人的利益能够直接形成影响和控制，技术便失去纯粹性而具有权力属性。算法权力对数据、人的行为和公权力资源的调动能力，使得其属性和实现形式具有区别于其他权力的独特之处。正如法国哲学家福柯提出的“无所不在”的现代权力范式，算法权力区别于政治学中自上而下的操纵和支配，强调的是权力在实际运作中的网络结构化和弥散性。

更重要的是，算法的权力化源于其在技术上摆脱了“工具”地位。在技术上，算法的不透明性产生了不可控性。例如，搜索引擎的网页排名算法提供信息的过程无法被人观测，而其提供的信息一定程度上决定了人对具体问题的认知；微软的人工智能聊天机器人在推特（Twitter）上进行交互学习后，竟发表了同情纳粹的言论。算法技术的失控趋势被学者称为“算法未知”，即机器自主学习意味着算法对人类来说太复杂而难于理解。这种技术上的不可控性使得算法与人的行为分离，导致人的行为与引发的责任的分离，传统法律中“行为-责任”的逻辑链条被算法的自动决策切断，从而使传统的规制手段无法有效作用于算法系统。由此，算法摆脱了被人类控制的“工具”的地位而产生权力化趋势。

（二）算法权力的基础与特征

算法权力来自算法的机器优势、架构优势和嵌入优势。基于机器优势，算法可以掌控调配大数据并进行深度自主学习；基于架构优势，算法通过搭建复杂生态系统架构来控制人的行为；基于嵌入优势，算法借助资本与公权力的力量直接影响社会权力的运行。基于这些优势，算法权力呈现出跨越性与隔离性的特征。

1. 算法权力的基础

算法权力的基础之一是机器优势。机器优势首先体现在算法对大数据资源的计算能力，迫使人类因无法应对海量数据计算任务而逐渐交出决策权。机器优势也包括深度自主学习能力，使得算法可以从既往数据中自主测试和自我改善，甚至可以“生产”知识。新兴的社会以互联网为中心，社会最基础层面流动的不是物质生产而是信息。算法作为确定信息流动的力量，操纵了人类获取的知识。

算法权力的基础之二是架构优势。架构优势指算法通过搭建复杂生态系统而获得的对人类行为的支配力量。系统架构可以产生权力。技术性的系统架构本质是政治性的，能够产生驱动人类行动的权力，对此恩格斯曾指出纺纱工厂的机器比任何资本家更为专制。算法技术搭建的系统架构对人产生权力的路径可用亚马逊公司的“混沌存储算法管理仓库”来描述。在这种仓库中，算法将物品按照货架空间和物品体积的匹配程度进行分配，工人只能依靠算法定位物品，行为受到算法支配。人工智能时代，算法构建了诸如电商平台、社交媒体等不同的系统架构，用户通过“通知-同意”进入系统架构后，行为即受到算法支配。同时，算法系统架构可以内在生发和延伸，进一步通过架构收集用户数据，并可在多个生态系统之间共享数据以持续对用户产生影响。

算法权力的基础之三是嵌入优势。嵌入优势指算法结构性嵌入社会权力运行系统，借助经济与政治权力实时干预人的行为，从而对社会进行无孔不入地构建、干预、引导和改造。在经济领域，算法嵌入平台重构了消费者、平台与服务提供者之间的关系。算法下探至每笔交易贯彻平台交易规则，并对违约者予以即时处罚；在政治领域，算法可实时收集数据并持续运行，与公权力的实施具有高度契合性，并极大地增强了公权力运行的广度、深度和效率。基于此，算法可以为治理对象量身定制并设置难以计数的场景化规则，并以极小的执法成本应用于任何规模的监管对象。例如，在自动驾驶技术中嵌入代码，就可以事前禁止酒驾、超速等违法行为。可以预见，算法权力通过嵌入社会权力运行体系，将以“持续控制形式”渗入日常社会互动中的微观层面。

概言之，算法通过机器优势争夺人类的决策权力，基于架构优势框定了人的认知和行为模式，并借助嵌入优势指数级的扩张其影响，从而反过来塑造社会运行方式。

2. 算法权力的特征

基于机器、架构与嵌入优势，算法权力具有了以下特征：一是跨越性，包括跨越网络和物理空间、跨越公私两个领域；二是隔离性，即算法权力与民众理解和现有法律体系的隔离。

首先，算法权力具有跨越性。这表现为：（1）算法权力横跨了制度化权力与非制度化权力。制度化权力普遍存在于公权力体系中，但非制度化权力也随着网络的发展而兴起。例如，网络平台凭借其占有的生产要素、技术形成某种权力，并以此为圆心辐射出多重非制度化的社会关系。在非制度化的权力领域，算法借助算力和架构成了控制资本流动和网络言论的非制度化权威。在制度化权力领域，算法权力因算法在公共部门中的应用被公权力收编，成为权力圆心的一部分。算法权力在社会权力版图的扩张随着智能算法的迭代而加快。（2）算法权力跨越网络空间与物理空间。电子屏幕和终端设备划分了网络空间和物理空间的界限，即在线与离线的二分。算法决策的影响则跨越空间的二分性，其作用不仅局限于网络空间，还直接作用于征信、财产、教育等现实领域从而延伸至物理空间。

其次，算法权力借由技术壁垒形成隔离性特征。这种隔离性既包括算法权力与普通公众的隔离，也包括算法权力与现有法律制度的隔离。具体而言：（1）算法权力技术化统治与普通公众的隔离。虽然行政自由裁量、法官的自由心证在某种程度上也是黑箱，但其作为人类决策并不神秘，普通公众容易理解，法律也便于建立相应制度予以规制。但是，由于算法权力对数据资源和专业技术知识的垄断，其决策机理难以为普通公众所理解，算法权力借由技术屏障达成了技术化统治。（2）算法权力与现有法律制度的隔离。现有的法律制度围绕着现有的经济、政治权力结构而建立，而这种权力结构受到了算法权力的巨大冲击，导致现有法律制度出现了种种不敷适用之处。例如，民事侵权责任中至关重要的主观过错与因果关系要件，无法适用于算法自主决策造成的损害。又如，面对自动驾驶交通事故对侵权责任、产品质量责任和交通事故责任等诸多制度提出的挑战，各国不得不对自动驾驶交通事故的法律责任界定及分配问题进行专门立法。这种制度上的隔离使得为算法专门创设具有自身特征和内涵的权利义务及责任承担制度成为未来法律的发展方向。

算法权力的跨越性和隔离性使其产生经济政治领域的巨大影响力，并借由技术面纱逃逸现有法律制度的规制，在无形中又进一步巩固了算法权力。

三、算法权力的异化风险

虽然算法权力在社会权力结构体系中举足轻重，但现有法律制度却对其缺乏规制，从而导致算法权力在商业领域和公权力领域产生异化风险。

（一）算法权力在商业领域的异化风险

首先，算法权力借助机器优势与架构优势，挤压用户意思自治的空间，并通过算法垄断攫取高额利润，却能有效规避现有法律体系的规制。消费者信息一直是商业公司获取商业利润的关键因素。早在20世纪70年代就有商业监视的概念，意指商业公司通过对消费者个人资料的收集掌握其消费模式，以精准投放广告提高企业利润，早期通过邮件系统发送的直邮广告即属此列。进入人工智能时代，算法借由机器优势对海量数据进行分析，其得到的信息可以创造出惊人的商业价值。消费者浏览网页或者购买行为所留下的庞大“数据废气”，不再是无人问津的垃圾，而是成为极具价值的商业资源，可以改善商业组织的生产流程和服务模式。以“用户画像”为例，算法通过数据分析描述用户的各类行为信息和性格特点，对不同群体进行分类与身份建构，从而量身定制反映其支付意愿的价格，实施“一人一价”的价格歧视。例如，在线旅游平台多次被爆出“大数据杀熟”，针对使用不同手机、不同消费习惯的用户实施差异化定价。平台利用算法的机器优势，与消费者形成严重的信息不对称。这种信息不对称影响了用户在商业活动中意思表示的真实性，使得处于信息弱势的一方无法做出正确判断而引发不公平和低效率。此外，算法还被用来进行价格共谋以榨取消费者剩余，即同一行业的商家可以使用同一种动态定价算法使市场价格趋同，形成“中心式辐射的共谋场景”。如此不仅可以攫取高额利润，还可以有效躲避竞争法的规制。例如，2015年，优步公司被诉利用算法实现司机之间的价格共谋，使得原本具有价格竞争关系的司机通过算法实现价格一致，损害了用户的利益。

然而，现有的法律制度无法充分应对商业领域算法应用带来的损害用户利益的问题。这主要由以下两个原因造成：其一，用户进入平台的系统架构需要点击同意用户协议，而这种所谓的“知情同意”使得算法收集和利用数据的行为合法化。平台可以主张用户已经通过用户协议知晓和同意算法决策，因此无须为用户受到的算法的不利决策承担法律责任。其二，算法造成的用户利益损害的情形不符合现有法律责任的认定规则。算法的“用户画像”与“个性化价格歧视”是否合法仍有较大争议。即使这种行为被认定为违法，算法使用者也可以保护商业秘密为由拒绝披露算法内容。在支持算法使用者对用户有一定信息披露义务的欧洲，也尚未出现支持用户获得算法相关信息的判例。尽管定价算法有妨害竞争之嫌，但执法机构难以通过算法的代码找到企业价格共谋的证据，而按照市场份额和市场支配地位等标准又无法认定垄断行为的存在。

其次，算法权力驱动了监视资本主义的兴起。商业领域的算法权力不仅通过大规模收集和分析用户数据来规避法律约束以攫取高额利润，而且与商业资本结合形成监视资本主义，将用户被嵌入数据生产链条，变成被算法支配调控的客体。

监视资本主义是新型的信息资本主义，它的运行方式是通过对用户数据的萃取、分析，以及个性化、持续性的实验对用户个人实施难以辨别的单向监视，产生巨大商业监视效能，继而由算法预测和调整人类行为，获取收益并控制市场。监视资本主义的兴起是算法机器优势和架构优势的必然产物。在消费者信息带来的巨大商业利益的驱动下，商业平台借助算法更加深入全面地收集用户数据，形成无孔不入的商业监视。各种平台公司争相推出以交换个人数据为前提的免费便利服务，通过这些服务收集包括行动数据、个人偏好、位置信息等一切数据。这使得平台通过算法对用户的商业监视相比政府的监控而言，具有更强的持续性、普遍性、反复性。

平台并不止步于通过商业监视获得的用户数据，还利用算法的架构优势，针对用户行为构建出评分规则和赏罚机制，来调整用户行为进而获得利润。用户的各种生活足迹都会经过算法的演算，成为定价的根据，从而成为交易市场中极具价值的预测性商品。在利润的驱动下，算法使用者除了通过算法对用户进行助推、说服以影响其购买某项商品和服务外，还通过算法对用户使用持续性、即时性、反复的调控模式，以奖赏、惩罚或者其他更难以察觉的方法，影响用户的行为，以确保其行为轨迹与自身利益相符合。以谷歌公司为例，虽然其提供的服务是免费的，但利润却十分丰厚。原因在于，用户免费使用谷歌服务留下的各种行为轨迹都使得谷歌可以积累用户的使用习惯数据，并通过算法投放定向广告。而谷歌的广告系统又可通过用户的点击行为，进一步分析用户的行为逻辑，从而更好地预测和引导用户行为。换句话说，平台商业监视的目的是获取算法生产的、可以对用户未来行为进行精准预测的商品。如此，平台可以通过算法高效率地对用户进行持续性的行为调控。有时算法对用户行为的调控的确是为了回应用户本身的需求，但最终仍导向行为调控而获取利润。因此，监视资本主义是一种全新的“系统连贯积累”，是算法权力和商业力量的结合，是一种新的经济变种。在监视资本主义下，算法与人类的主客体关系发生了异化。20世纪初的工业革命中，大规模的生产和作为消费者或工人的人类是相互依存的。而在监视资本主义下，人既不是消费者也不是员工，人的价值在于生产数据和累积行为剩余。用户处于平台的监控与算法的计算下，产生延绵不绝的行为数据剩余价值，成为监视资本主义所构建的新的生产体系的重要原料和商品。

（二）算法权力嵌入公权力的异化风险

算法权力从不同层面嵌入公权力的运行，借助架构优势搭建监管体系，甚至在某些领域成为独立的决策者而取代公权力。然而，适用于公权力控制的权力专属、正当程序等法律原则无法适用于算法权力，从而造成算法权力异化的风险指数级放大，并与公权力合谋形成权力滥用。

首先，算法决策系统成为公权力的辅助工具。这主要表现为：其一，算法嵌入事实认定层面。算法借助机器优势裹挟大数据资源，通过视频监控、人群分析、DNA采集等技术协助进行事实认定。例如，我国公安机关DNA数据库应用系统已收录近4000万条DNA信息。算法在发现最新录入的DNA符合陈案时会自动预警。这一技术因2016年我国“白银连环杀人案”侦破中的应用而为公众所熟知。其二，算法嵌入法律适用层面。2018年美国加州公布在全美首次尝试用算法评估取代现金保释；在我国，北京法院新一代审判智能辅助系统“睿法官”也能梳理法律关系、提出裁判建议、生成裁判文书。在可见的未来，算法深度参与公权力运行已经成为必然趋势，为此国务院办公厅于2019年1月提出要全面在法律与行政法规的适用层面加强人工智能的作用。

虽然算法极大地提高了公权力的运行效率，但由于算法的机器优势和架构优势，其逐渐超越工具化属性，开始实质性调配资源作出决策。例如，北京市怀柔区公安部门建立了针对盗窃类案件的犯罪预测系统，江苏省苏州市的犯罪预测系统 2015年就已经覆盖91种违法犯罪行为，犯罪治理活动从事后打击转为事前预防。然而，算法的执法决策会不断自我肯定与强化，形成相对独立的认知，如当算法预测一个地区犯罪风险较高时，会相应投入更多警力。而警察人手的增加可能会使该地区的犯罪更容易被查到，从而进一步提高该地区的犯罪记录，反过来使警方投入更多警力，最终形成一个失真甚至有害的回路。

退一步讲，即使算法只是在法律适用层面辅助行政与司法机关的工作人员，其也具有独立的影响力。据研究，算法决策系统使用“超级推理”，能够以微妙而有效的方式塑造用户的感受和行为，破坏个人的独立判断力。行政决策中人类形式上的参与无法掩盖算法作出实质决策的真相。有研究指出，人类极易受到“自动化偏见”的影响，即使认识到可能另有选择，其也更倾向于服从计算机的判断。

其次，算法权力借助架构优势搭建的监管体系在某些领域逐步取代公权力，成为直接的决策者和执法者。算法权力具有即时执行、自我实现的特点，相比公权力的行使需要国家暴力的强制，算法权力的执行不需要任何人为的干预，也没有滞后与延期。算法权力的执行程序简单如“输入密码错误-禁止访问系统”的算法系统，此类决定即时生效后须经过一定程序方可被人工操作修改。例如，我国行政部门的自动税收系统与行政许可领域的“秒批”系统，都是由算法作出的即时生效的具体行政行为。随着复杂算法生态的搭建，算法可胜任更复杂的行政行为，将公民的身份数据化和动态化，建立以社会信用为基础的公共管理模式。

算法权力借助公权力体系野蛮生长，却缺乏相应的规制与救济路径，从而产生了权力异化的风险。这体现在：（1）传统限制公权力的正当程序制度对算法权力无效。例如，犯罪预测系统的算法对公民进行挑选、甄别与行为预测，却并不需要遵循正当程序原则。从理论上讲，即使算法的犯罪预测结果未被采纳，也不应对公民任意行使调查和监视的权力。这种对公民的特殊调查和监视对待虽然不是有罪判决，但同样构成一种不利对待。（2）算法权力隐含于公权力运行中，严重缺乏透明性。算法基于数据的相关性来识别和预测人类行为，这一过程不会被人类甚至普通计算技术所察觉，公众也无从对其错误提出质疑。（3）由于算法所作决策的理由与程序并不需要对相对人公开，目前为止尚无救济渠道。如果具体行政行为的内容包含算法决策，那么相对人对该行政行为发起的行政复议、行政诉讼或申请政府公开的信息之中应该也包含算法决策的相关信息。但是，算法是否属于可以公开的信息尚不明确，行政机关可能以算法涉及国家秘密、商业秘密、个人隐私或属于内部信息为由，而拒绝行政相对人的申请。（4）因算法决策系统的技术需要，公共部门须寻求外部技术资源支持，易造成权力行使的失误并违反权力专属原则。例如，2007年4月，来自私营公司的程序员将900多条规则植入美国科罗拉多州的公共福利系统，但由于程序员误读法律，把“无家可归”编写为“行乞为生”，导致流落街头的申请人遭到算法决策系统的多次拒绝。更令人担忧的是，这种外部技术支持可能违反权力专属原则。大量非司法或行政主体如公司、网络平台、个人等均可收集监控数据向特定算法提供，由算法进行不确定数据来源的分析，作为司法行为和行政行为的依据。这种权力的“外包”在我国多体现为公私合作的形式，如浙江省高级人民法院与阿里巴巴合作，法院利用算法和阿里平台的海量数据对涉诉人员绘制“画像”，包括身份信息、联系信息、消费数据、金融数据等，以协助法院查询、送达、冻结资产等。由于算法决策的广泛使用，传统上由司法和行政主体行使的监控、追查等公权力向不特定社会群体转移，但其限度尚无法律规定。在此背景下，公权力借助算法扩展权力版图和提高行政效率的同时，也极易形成公权力与算法权力的合谋。普通公众则因缺乏对抗的技术资源，而在权力结构中处于更加弱势的地位。即使算法权力的运行出现错误，决策的成本和后果也不由其部署应用者（政府部门）承担，公权力既无监管动机也缺乏制度约束。

目前，算法权力异化所产生的消费者权益受损、公权力运行失范、公民权利受到侵害等问题已经引发社会关切。尽管现有法律与行业自律起到了一定作用，但现有规制体系并不足以防止算法权力异化带来的危害，亟待更新规制思路并建立相应的制度体系。

四、算法权力的法律规制

（一）算法权力规制的基本思路

算法权力异化带来的挑战，要求及时调整传统法律制度的规制理念。在规制思路上，体现为：其一，从偏重数据保护转向注重算法规制；其二，从单纯的技术规制转变为权力制约；其三，突破公私二元界限进行整体性制度设计。

1. 从数据保护到算法规制

传统法律制度过于偏重数据保护而忽视了对算法的规制，但在人工智能时代，我们面临的是截然不同的数据生产与流通方式，以及数据利用所产生的庞大价值与风险。这种变革是由算法权力的兴起而产生的。商业平台与公共部门均借由算法的力量扩张各自的权力版图，产生新的知识生产与治理模式。这使得传统的数据保护路径失灵，个人数据保护的知情同意原则已经基本被架空，对个人敏感数据的划分标准也由于算法的分析而几乎失去意义。数据是算法的养分，算法借由数据生产知识产生利润和控制人类行为。因此，政策制定者不能仅关注数据产生的效益，还应防范由于算法对数据的使用而造成的社会负外部性。

对算法的规制，就意味着对数据利用层面的规制，而非过去的偏重数据收集的规制。对此，2014年美国总统科学与科技顾问委员会提出，应将政策“更多聚焦于数据的实际使用”上。因为，数据必须借由算法的逻辑与运算，才会产生价值或者风险。个人权利遭受损害的来源，不是单纯来自数据或算法，而是来自两者的结合。因此，应将个人数据保护的重点转向对数据控制者数据使用行为的监督，建立数据处理活动的风险评估机制，以避免决策错误。

从偏重个人数据保护到偏重算法规制的思路转变，会引发一系列制度设计思路的变化。首先，偏重算法对数据利用层面的规制，应注重设计利用过程中的相关制度，如算法的正当程序原则。其次，偏重算法对数据利用层面的规制，应关注技术理性中隐藏的人为因素，注重算法的道德伦理评价，建立算法问责机制。最后，如果说数据保护制度注重的是个人隐私、安全等价值的保护，那么算法规制的思路应更注重人类尊严、公民权利、社会公平等价值的保护。

2. 从技术规制到权力制约

法律应避免将算法作为纯粹的“技术”进行规制，否则会忽视算法有别于其他技术的权力属性，以及算法权力对社会权力结构的深刻影响。将算法作为纯粹技术进行规制的思路，可能导致规制路径出现两种偏差：其一，规制重点的偏离，即过于偏重技术解决方案而忽视算法权力对公民权利、社会运行的深远影响。有学者认为，算法带来的危害来自其不透明性，进而主张披露算法源代码这样的技术解决路径。然而，由于公众和规制机构缺乏识别源代码的技术能力，过度的信息披露可能会增加用户的认知负担而达不到制度目的。实际上，保持算法一定的不透明性既可以保护知识产权以促进企业投资算法开发，又可避免算法被恶意利用导致错误运算结果。其二，规制层次的单一。算法应用的不同领域、架构与场景需要不同层次的规制力度与个性化的制度设计。如自动驾驶算法关系到城市交通与公民人身安全，需要严格的规范；而一般的商品与新闻推荐算法的规制则可以相对宽松。缺乏层次的规制可能导致社会组织为了避免过度规制而牺牲效率，从而使用人工决策而放弃算法决策。

相对而言，权力制约的思路则具有以下优势：其一，充分利用既有资源。各国政府的管理部门已经较为完备，每个政府机构都应随着算法决策的广泛应用而更新管理功能。例如，交通管理部门应及时适应无人驾驶汽车带来的各项挑战，卫生监督部门也应对人工智能在疾病诊断和手术领域方面的发展做出及时调整。以权力制约作为指导思想可以免除为了对技术做出回应，而设立专门的政府部门甚至重构整个政府规制体系的浪费。同时，现有公权力监督体系也可以用来规范算法融入公权力部门后引发的问题。其二，保证制度的整体性和相关性。各个领域大规模使用算法决策后，新的算法常搭载于某个已经存在的算法系统中，编织出越来越复杂的算法生态系统。算法在越来越广的范围内搭建系统架构，人类的认知和行为将嵌入得更深，算法对人之行为的驱动力日益增加。因此，将算法作为纯粹的技术进行规制的措施不可避免具有局限性，而以权力制约的理念进行制度设计，则能够有效保证制度之间的内在统一。其三，权力制约下的责任主体更加合理。将算法作为技术而规制的理念不可避免地偏重于算法设计者的设计责任。设计责任固然重要，但算法权力的运行才是造成异化风险的直接原因。例如，研发人员能够纠正算法设计中的偏见，但无法解决算法的滥用问题。对此，算法权力的限制理念能够督促算法使用者切实对算法的部署和应用负起责任。

3. 从公私二元划分到整体制度设计

在人工智能时代，借由算法权力的连接，商业领域与公共部门的权力很难再简单地划分为公私二元。在充分利用公私不同领域的法律资源的前提下，也要考虑对算法权力整体性规制的制度设计。这是由算法权力引起的公私二元界限模糊造成的。算法权力使得公民在商业领域与政治生活中的身份逐渐重合。算法身份指基于商业平台的监视和公权力的治理需要，将个人归属于特定群体之中。这种身份的建构不完全取决于个人的物理外观或自我选择，而是主要根据个人的行为轨迹数据由算法演算出个人区别于群体的属性。算法身份的共享来源于数据的共享、算法的共享、决策结果的共享。例如，我国浙江地方法院使用当事人的淘宝网提供收货地址进行文书送达，互联网法院的区块链取证有赖于大型平台企业的技术支持，而芝麻信用这类商业算法的应用更是延伸至申领护照、身份认证等公共服务场景。平台出于商业利益，积极地通过各种方式协助政府的大规模数据收集与处理，通过法律授权、后门、买卖与外包等方式，算法与数据在公私主体之间自由流动，公私界限日益模糊。

从公私二元转向整体制度设计思路将导向以下制度变迁：其一，应对公私部门的算法权力交织，对商业平台的某些行为适用公权力运行的相关规则，从而设定算法权力运行的界限，并突破私法领域法无禁止即可为的原则。其二，在公私领域借由算法交织而成复杂权力架构下，个人处于权力结构的最末端。因此，对算法的规制需要引入第三方治理，以更好地监督算法权力的滥用。

（二）算法权力的规制路径

算法权力的具体规制路径包括对算法应用范围的限制、建立正当程序制度和问责机制对算法权力运行进行合理制约，也包括赋予个人数据权利和获得救济的权利对抗算法权力的侵害，以及加强行业自律和引入第三方规制力量。

1. 算法权力运行的合理限制

算法权力异化的风险主要来自缺乏权力制约。对此，需要从权力范围、正当程序、问责机制等方面共同约束。

第一，明确算法的应用范围与限制条件。这包括：（1）限制算法决策的适用领域。类似于限制人身自由的处罚只能由法律设定的法律保留原则，算法应用的范围也应有一定保留。例如，《欧盟通用数据保护条例》第22条（1）规定，如果算法决策对数据主体有法律效力或者重大影响，那么这种决策不应纯粹由算法作出。又如，美国威斯康辛州要求法院使用算法量刑时需要保证人类参与实质决策。（2）限制预测性算法决策的适用范围。人工智能社会是一个风险社会，预测性算法可根据过去的数据来预测个人未来的行为，并根据预测结果允许或剥夺个体的行为选择，如用来排除潜在恐怖分子的机场禁飞名单系统即是如此。预测性算法的决策过程依赖数据与推断结果之间的相关性。这种相关性本身就是一种人为构建的认知模式，其仅是一种认知的方法，而非唯一的认知方法。这个过程可能忽略其他众多社会、文化及偶然性的因素，而犯下以实然推断应然，以过去判断未来的谬误。?例如，在假释和量刑中采用的风险预测算法，以相关性而非因果性进行推理，无疑是否定了无罪推定原则的程序性保障。因此，在具有法律效力与重大影响的算法决策中，应严格限定预测性算法决策的适用范围，并对算法决策的数据来源、范围和质量进行严格限制，审核数据的正当性、准确性，以避免公民权利受损。

第二，建立算法权力运行的正当程序制度。正当程序原则源自司法上的自然公正。事实上，法院的判决与算法自动化决策的过程非常相近，两者都依赖大量、分散、无关联的资料累积而作出决定。算法对个人的预测、分类、调控可能出现错误、歧视。在法律规范不足的情况下，算法权力并没有受到合理的监督。算法权力的正当程序制度设计应关注以下3个方面：（1）建立算法运行正当程序的前提是增强公私领域的算法的可见性。算法决策的可见性是指当事人有权知晓算法决策的存在，以及算法决策影响自身权利的方式与程度。然而现有的商业算法决策掩盖于用户协议的知情同意条款下无法被察觉，公权力领域的算法决策则隐含于政府的具体行政行为中，公众无从知晓。在算法可见的前提下，当事人方有可能在正当程序制度保护下进一步陈述申辩和寻求救济。

第二，建立算法权力运行的正当程序制度。正当程序原则源自司法上的自然公正。事实上，法院的判决与算法自动化决策的过程非常相近，两者都依赖大量、分散、无关联的资料累积而作出决定。算法对个人的预测、分类、调控可能出现错误、歧视。在法律规范不足的情况下，算法权力并没有受到合理的监督。算法权力的正当程序制度设计应关注以下3个方面：（1）建立算法运行正当程序的前提是增强公私领域的算法的可见性。算法决策的可见性是指当事人有权知晓算法决策的存在，以及算法决策影响自身权利的方式与程度。然而现有的商业算法决策掩盖于用户协议的知情同意条款下无法被察觉，公权力领域的算法决策则隐含于政府的具体行政行为中，公众无从知晓。在算法可见的前提下，当事人方有可能在正当程序制度保护下进一步陈述申辩和寻求救济。正当程序制度要求权力的分离，以及赋予个人受到“公正审判”的权利。平台内部应引入“中立仲裁者”，具有独立行使职权的权利，其必须独立于商业利益以外，进行符合社会利益的仲裁。这样既可以节省外部的行政执法成本，也可以在企业内部随时检查算法自动化决策系统可能的瑕疵或者偏误。如《欧盟通用数据保护条例》第37条第5款要求建立数据保护官制度，要求由独立的具有专业素养的数据保护官监管企业内部的数据处理活动。（3）提高公权力领域算法运行的正当程序要求。算法决策应用于犯罪量刑等司法活动时，关系公民重大的人身权利，因此其程序要求应作出专门的严格规定。例如，犯罪风险预测算法造成了犯罪治理活动启动时点前移，对启动侦查前数据证据的采用应作出严格限制。正如不同的案件审理具有不同的程序，不同的算法权力应用场景也应当遵循不同的程序原则。因此重点不在于一致的程序设计，而在于各种程序应当遵循相同的价值理念：如可预测性、透明性、公众参与等。

第三，建立算法权力的问责机制。问责机制要求算法权力通过规范的方式行使，否则应承担相应的法律责任。算法权力问责机制的基本框架为：（1）明确算法问责的主体，以算法使用规模、涉及主体的多少、所涉公共利益的类型等确定被问责的主体。例如，美国参议员在2019年4月提出的《算法问责法案》要求美国联邦贸易委员会对企业进行算法审查，适用的对象包括年收入超过5000万美元的公司，以及拥有超过100万消费者数据的数据代理商和企业。（2）明晰算法问责的标准。为避免歧视性、不公平、有害的算法决策结果产生，应当对算法系统采用各种控制措施，以验证它是否符合运营者的意图，并且应能够识别和纠正有害结果。事实上，软件开发人员经常通过测试软件的方法确保算法运行符合设计意图，此类技术方法也可用于算法问责机制的设计。

2. 配置个人权利以对抗算法权力

规制算法权力不仅应对算法权力运行进行合理限制，也应通过配置权利以对抗权力的滥用。算法权力与普通公众力量对比悬殊，应从制度设计角度赋予公民个人及其他主体以权利，以增加其与算法权力博弈的资本，使其免受算法权力的侵害。

第一，个人数据权利赋权的路径。具体而言：（1）个人应享有一定数据权利以获得博弈的资本。法律应明确个人数据权利的范围，使算法的使用者需要与个人协商方能获取算法决策所需要的数据。为此，算法的使用者需要支付一定对价，而这种对价的形式并不一定是金钱。使个人获得博弈资本是设立数据财产权的目的：财产权所界定的是，凡是想要取得某些东西的人，就必须在取得之前先进行协商。（2）在行政和司法领域，个人收集数据、获取数据、分析数据的权能应得到加强。应考虑由公权力提供援助以平衡个人在数据和算法技术能力上的严重弱势，这样个人方有可能应对在侦查、审判、量刑中算法权力与公权力的合谋。

第二，保证个人事后获得救济的权利。其中包括获得算法解释的权利、更正或修改数据的权利、退出算法决策的权利，等等。有权获得救济的主体应为受到算法不利影响的个人，如经过算法评估不被雇佣的候选人，受到歧视性算法量刑的犯罪嫌疑人等。具体而言，首先，应为请求救济的个人提供算法决策的理由，即提供算法决策的解释。其次，如果发现不利决策由于错误数据造成，应赋予个人更正或修改数据的权利。最后，如果仍无法得到合理的算法决策，应允许个人退出算法决策并寻求人工决策。在这方面，《欧盟通用数据保护条例》第22条即赋予个人不受纯粹的算法决策支配的权利，以及获得人为干预的权利。尽管上述权利的行使存在诸多限制，但不失为有益尝试。

3. 加强自律机制与引入第三方治理

第一，应加强平台的自律机制。对算法权力的自我规制，可以借鉴企业社会责任的实现路径，因为平台的经营活动影响的不仅是企业，还涉及整体的社会福祉。因此，企业社会责任强调在创造利润以外，还需要兼顾社会各利害关系人的需求。传统的企业社会责任关注环保、慈善、社区发展等利益。在算法权力盛行的时代，平台的社会利益扩展至用户的隐私、尊严、公民权利等方面。现有的主要做法是各大平台定期发布透明度报告，但由于透明度报告纯粹是自律措施，所以标准并不统一，内容也大多避重就轻。这些透明度报告的主要内容包括政府、团体组织和个人提起的内容撤回请求及回应情况，但很少揭示平台在算法设计、部署、应用和数据安全方面存在的缺陷。对此，行业自律组织可考虑统一制定透明度报告的标准，其内容至少应包括算法决策的类型、格式、数量、结果、影响等要素。

第二，引入第三方力量参与合作治理。应对算法权力异化的风险，还可以考虑在算法规制中引入第三方力量。所有的利益相关者都可以作为规制算法权力的主体，这其中既包括个人，也包括开展数据收集、利用、加工、传输活动的数据业者；既包括算法的设计者，也包括具有算法审查能力和评估资质的第三方组织；既包括本国政府，也包括其他主权国家和国际组织，等等。第三方力量在规制算法中扮演不可或缺的角色，如作为第三方的非营利组织“为了人民”（Pro Publica）发现了量刑算法的系统性歧视问题，商业平台和政府部门内部的“吹哨人”可以揭发权力滥用，平台公司通过法院判决对抗政府监管活动，等等。

五、结? 语

新兴的算法权力打破了社会权力结构的平衡，对现行法律制度提出诸多挑战，法律的场景化规制、行为模式和责任后果等逻辑均面临着算法权力的冲击。极单边化的算法权力如无合理的制衡和限制，不仅将使个人权利面临严重侵害的风险，还可能将人类导向不可预知的未来。算法权力的法律应对是人工智能时代的重大议题。对此，一方面应充分利用现有法律资源，使算法更好地为人类服务；另一方面，也应充分意识到算法的自主性及异化风险。通过算法权力清单的设置、正当程序的实施、算法问责机制的设计，打造体系化的算法规制架构。