陈吉栋|人工智能法的理论体系与核心议题

陈吉栋 同济大学法学院副教授、法学博士

数字时代的法治图景应以何种名目展开,存在计算法学、数据法学和人工智能法学等不同见解。可以确定的是,作为复杂性科学技术,人工智能的研发、生产和应用应遵循基本人类价值,为相关活动提供安全、可信、公平、可解释性并保障主体权利等基本价值指引。传统民法学所形成的精神主线为人工智能法提供了体系框架。在法律主体领域,元宇宙中的数字身份问题开始起步。如何认定数字身份的法律地位并构建可行的身份认证方案,仍待理论与实践的融合探索。在法律行为领域,智能合约研究正从理论探索向应用分析转变,知情同意规则呈现出持续冲突与初步调适的双重面貌,电子签名效力规则亟待细化。在权利领域,新兴权利进入勃兴期,以解释权为核心的算法权利研究进一步深入,有关数据权利的研究众多却未取得重大突破,加密正在成为一种权利,而信用权等权利的研究尚有不足。

2022年是人工智能法的重要年份。人工智能技术创新有了新进展,人工智能产业增添元宇宙等新赛道,自动驾驶等人工智能产品应用取得新突破,数据、算法和算力等基础要素流通开始破局,国内外人工智能的专门立法开始出现。人工智能法学释义学研究的序幕已经缓缓拉开。如何超越碎片化的技术表象,摆脱科幻化的应用猜想,认知技术及其应用的体系性,思考法律应对的整体框架,甄别人工智能法的理论体系与核心议题,启发更有价值的学术讨论,已成为理性且可欲的选择。本文遵循传统法学理论所形成的相对清晰的精神主线:法律主体通过法律行为创设权利义务,并为自己的行为可能引发的损害负法律责任,在当事人之间权利义务不明确、不周延时,以法律原则予以解释,尝试以此精神主线观察人工智能法的学术成果,探析纷繁复杂的学术成果所呈现的新进展与旧问题。以此思考人工智能法的基本方法、理论框架和核心议题,描摹人工智能法的未来形态。

一、定名之争:计算法学、数据法学抑或人工智能法学

为回应人工智能时代的法治需求,法学界出现了互联网法学、信息法学、认知法学、人工智能法学、数据法学、计算法学、未来法学、数字法学等不同名目主张,在一定程度上出现了“群名竞舞”的局面。

马长山高举“数字法学”的大旗。数字法学是新法科的重要学科,是以数字社会的法律现象及其规律性为研究内容的科学,是对数字社会的生产生活关系、行为规律和社会秩序的学理阐释和理论表达,但数字法学并非现代法学的二级学科,而是其进阶升级。

计算法学的讨论走向深入。左卫民建议推进以实证研究方法为底色的计算法学学科建设,认为应抓住可供计算的法律数据特征,以统计学为根基的机器学习应成为法律计算的主要方式。左卫民所界定的计算法学基本是实证方法的进阶版本,大致与我国学界引入人工智能问题讨论时的法律人工智能属于一路,虽然其本人有意与后者划清界限。相较计算法学的既有研究,左卫民所主张的计算法学范围有所限缩。季卫东主张,在更为宏大的时空架构中定位计算法学,指出法教义学的推理与概念计算、科学技术指向的实验与制度演算两条基本思路。通过其以“法律数学”构想为背景和线索,对计算法学在通信技术时代分析,可以发现其发掘的五个主要维度:(1)基于统计和预测模型的计量法律学;(2)法律推理电脑化和专家系统算法;(3)法律信息学的大数据挖掘与机器学习;(4)对法律网络结构的图谱和矩阵演算;(5)包括数据伦理和算法公正在内的人工智能治理等交叉和相辅相成的关系。其中,最后这一维度反映了计算法学的超越性,揭示了深入研究关于价值排序和价值函数元算法的重要意义,反映出季卫东试图引入价值议论赋予计算法学以超越性的努力。此外,计算法学尚未回应既有批评,即“计算”作为一种方法,本身是否足以涵盖其支持者所欲讨论的基本问题。

人工智能法学鲜见新作出现。人工智能法支持者早年所提出的问题意识亦未被认真讨论和对待。

相较之下,在基本问题意识上,本体论的数字法学与传统法学研究志趣更为接近,也更容易被接受,但“数字”不只是昭示方法,仍需负载内容。胡铭将数字法学的研究内容定位为要素类、平台类和产出类等内容,然而举凡数据、算法等在具体场景下,均可成为既有法律部门调整的客体。数字化浪潮改革彻底且宏大,每个传统的部门法在数字时代均有不同程度的更新,以致每个部门法都有自身的数字法学,也都有自身的数字法理。如此一来,数字法学是否会过于泛化而丧失定名的意义,是否存在被归属理念或者方法、束之于部门法总论中之风险,犹未可知。

如果定名与本体可以相符,就应被认真讨论。无论选择怎样的名目,均应承认我们面对的是一个正在迅速变动的信息生态体系,这个体系至少包括网络环境、虚实界面、数据处理、认证机制与内容生产等,法学研究的并非这一系统的数字表现形式或一部分,而是以涉及数据、算法和算力,以及在此基础上形成的人工智能系统且以之为核心得以展开。因此,名之为“人工智能法”大致仍然可取。而且,欧盟已经出台了人工智能法案,我国上海市、深圳经济特区等也先后颁行了人工智能产业条例,这些立法进展已经初步显现了人工智能法的基本内容和核心议题;人工智能法回避了更为基础或者抽象的数字法学,其名目下的具体资料亦非计算法学所能涵盖。当然,无论上述任何一种主张,都依赖对事物本质的研究和回应。在此意义上,人工智能法是否可以超越传统部门法及其方法在一般意义上作为本体形成与确立,仅能让未来告诉未来。

二、人工智能法的基本原则初步浮现

法律原则是法律帝国(或者说法律规范大厦)的基石。基本原则是人工智能法基本价值的沉淀,也是其成型成熟的基本标志,不仅关系对人工智能法的整体认知,还构成了讨论人工智能法律关系的基本价值依归。在人工智能法尚未成型之时,既有研究已经开始注意人工智能作为复杂科学技术,其开发和应用应遵循人类社会的基本价值,为相关活动提供安全、可信、公平、可解释性并保障主体权利等基本价值指引。

(一)可信

可信是人工智能法的首要原则或“帝王条款”。可信对应的是人工智能的不确定或风险。现阶段,确保人工智能可信已经成为政策制定和学术研究的重点议题。技术上,稳定性、泛化能力(可解释性)、公平性、主体权利保护等,构成了可信人工智能的基础。现阶段法学界理论研究尚未足够重视可信作为原则的基础作用,主要聚焦算法可信治理和数据可信利用的研究。

算法“可信”意指这样一种状态,即算法基于其可理解性、可靠性和可控性而能够获得人们的信任。既有研究多聚焦于算法可信治理,意在排除有现实和潜在威胁的算法,达至合法性和正当性且具有相当可信度的算法。有学者试图在算法自动化决策问题上通过“信任原则”重构算法解释权,将算法解释权定性为一种动态、沟通、相对性的程序性权利,而非实体性权利。但可信作为基本原则,其调整范围并不限于算法治理,如徐珉川提出公共数据开放可信治理的规范性架构,可以通过公共数据内在信用基础和开放行为外在信任框架两个方面展开,讨论了开放公共数据自身的信用保障和公共数据开放的信任交互关系。

可信内涵广泛,基本含义是透明或“可解释”。目前涉及的问题主要是透明(用户或社会公共利益)与不透明(使用者或社会公共利益,如创新)如何权衡。算法可解释的确立使其正当性论证成为可能,有助于接受算法服务一方的权益保护和处理出现错误甚至歧视时的责任分配问题。但当前对于“可解释”的研究进展不大。例如,可解释性的本质、规范性乃至研究方法均未清晰。一般来说,评估特定的人工智能系统是否可信不仅要通过识别、治理人工智能系统的风险平台,更重要的是在可信原则下设计人工智能系统规则体系。这一规则体系不限于对于人工智能风险的分阶段尤其是分层级调整规则,在广义上还包括协调当事人间的权利义务(比如平台与用户),数据上不同主体之间的权益配置,还可以解释具体权利的发生基础(比如算法解释的权利等)。在根本上,如果将可信作为一种关系概念,其不仅决定了不同主体间的沟通协调,还可以打通技术与法律秩序,事关未来智慧法治的整体构造。

可信还包括对相关风险的治理。为了实现可信,加强人工智能外部治理已经成为共识。有学者注意到作为极具颠覆性和不可预见性的新兴工具,算法的负外部性不仅容易引发多重权益侵蚀风险,并易与监管权力合谋形成权力滥用风险。为了应对算法的风险以及因此引发的负面影响,有观点认为应实行公权力赋权、算法权力限权与追加义务、个体充权的多元治理路径。从私权的视角,有学者主张打开算法黑箱,披露、解释算法,以私法保护为基础解决算法带来的侵害。例如通过合同法实现对算法侵害精神性一般人格权益的救济,通过侵权法来回应侵害行为的事后救济。这一讨论将问题转化为现有的民法规范能否妥善处理算法权力给民事法律关系带来的风险问题,具有重要意义。

在根本上,创建值得信赖和道德的人工智能不仅需要了解技术本身,还需要了解存在的社会和道德条件,以及如何适当地解释与评估它们对人工智能的设计、构建和测试方式的影响,还有人工智能与人类互动的方式。它必须是可持续的和环境友好的,必须确保人工智能系统的可追溯性,个人可以完全控制自己的数据。这些基本需求如何转化为规范研究,或者说,如何将规范研究建立在上述根本思考之上,仍是未来的课题。

(二)安全

在数字时代,安全再次从“幕后”走向“台前”,成为制定法关注的重要价值与法益,安全原则也因此成为一项法律原则,成为安全与效益之间的法益衡量工具。

赵精武将安全分为三个层面:广义层面的安全将国家作为描述对象,强调的是国家在国际社会和所处地区的主权和社会安全;中义层面的安全则是侧重社会结构或社会某一领域或行业的秩序稳定、公共安全;狭义层面的安全则是强调以社会治理过程中某个具体环节为对象,既包括传统的财产与人身安全,也包括新兴的技术与行业安全等。狭义层面的安全或可体现在民法保护的根本法益——安全法益上。安全原则在民法中的具体立法形态呈现为“零散规则—区块化规则—体系化规则”三个基本阶段。比如,当下大数据、人工智能、区块链等新兴技术的高速迭代拉开了私法调整范畴与实践立法需求的距离,目前的立法也呈现这三个阶段的趋势。在数字化和智慧化叠加应用的背景下,安全观念不仅是物理空间中稳定的自然状态,而且涵盖虚拟空间中民事活动不被他人监视、跟踪与记录的自由状态。因此,当下学界热议的知情同意规则、删除权益等规定也归于信息时代安全原则的调整范围。在这一背景下,安全原则的回应体现在三个层次的安全法益架构,分别是主体之间的互动安全、主体心理感知层面的信任安全和主体所处环境的稳定,安全法益的形成会使民法体系内部和外部均产生“规则事域化”的指向性影响,包括规则重心从“事后规制”转向“事前预防”和传统法律主体、客体的类型有所扩张。根据安全原则的要求,具体到数据安全法秩序,应从过去的“权利人—义务人”的二元主体结构延伸为“监管机构—信息处理者—信息主体”的三元主体结构。

此外,随着数据安全法的出台,学界掀起了对数据安全制度的研究,学者发表了若干的初步讨论成果,构成了研究安全原则的规则转化例证与基本资料,但限于篇幅在此不再展开讨论。从人工智能法的整体视阈来看,安全作为人工智能法的底座,可以从两方面观察:一方面,重新发现安全,即传统财产的数字化转型叠加新的数字财产不断产生,倒逼对安全的新认知。另一方面,整体安全被提出,虚拟空间架构的安全成为新的问题。在此背景下,“安全原则”应为人工智能法的基本原则。

(三)公平

公平,在传统法上虽确有规则体现,但更多的是作为基本原则——理念或者基础价值存在,并非严格意义上法律原则。人工智能在数据处理、算法设计及其系统应用阶段均可能存在偏差,会导致歧视、不公平竞争和滥用等,从而产生公平问题。公平尚未作为一种法律原则予以讨论,既有研究多聚焦算法歧视带来的问题。

公正的核心要义是反对歧视。歧视来源于偏见,是人工智能伦理的核心问题。人工智能偏见来源众多,数据本身蕴含的、开发者的以及算法等偏见。现阶段对歧视的研究,主要聚焦于算法歧视,较少涉及数据偏见及其风险的研究。算法黑箱使得人类无法理解算法决策的运作机理,对于隐私、知识产权乃至个人自由等方面都提出了前所未有的挑战。而营利性实体为了获取商业竞争力,报告自身算法的计算表征与决策方式意愿不足。因此,在外围进行算法审计、算法认证或者核验成为学术研究的新方向。

目前,学者多将算法偏差分为三种类型:算法歧视、不公平竞争和算法滥用。有学者认为,算法歧视的认定需要以存在横向权力关系为必要前提。当算法控制者以用户固有的、难以改变的特性对其进行分类,并单方决定适用于用户的算法规则,用户只能被动接受决策结果而无退出算法系统之自由时,即形成横向权力关系。在算法歧视的具体认定上,算法歧视以区分决策为行为要件,以用户遭受差别不利对待为结果要件。算法控制者若能证明差别对待具有合理性,则不构成算法歧视,更重要的是需要进行个案分析。对算法歧视问题的监管层面,从最初的监管算法技术深入到监管算法权力,意味着实现对算法歧视的预防和救济有赖于对算法权力的规制。为此,具有公权力属性的算法权力遵从正当程序原则,引导、规范算法权力回归正当程序,将市场垄断与技术监管相结合以制约算法权力。在责任归属上,算法歧视应追责到人,算法的开发者和使用者应对算法歧视负责。

公平原则的意涵丰富,不限于算法歧视问题,但其调整范围与具体规则,仍有待进一步研究。诚如郑戈所言,数字化带来的影响在不激进地改变现有法律结构的情况下,法律上可以做的事情是限制强者、保护弱者,避免“强者为所能为,弱者受所必受”的情况。法律是社会的公器,它必须找到符合公共利益的社会关系调整方式。

三、元宇宙视领域下数字身份研究开始起步

主体是权利的载体,制度既是法律的起点,也是终点。在既往人工智能法的主体研究中,人工智能体(AI Agent)以及区块链去中心化自治组织(DAO)被持续关注。元宇宙的兴起改变了这一状态。元宇宙是人类以技术手段为自己构筑的虚拟世界,其作为新一代全真互联网形态,已逐渐成为政府和企业投资布局的重点领域。如今,“元宇宙”已渗透到人类世界经济和生活的多个方面,技术的产业化进展与应用推进扩宽了人类生活的虚拟向度。个体以“数字人”的身份在赛博空间中活动,引发了因数字身份产生的各类法律问题。在此背景下,妥善解析数字身份的法律性质,探索构建可信身份认证体系的可行之道,成为因应“元宇宙”法律挑战的题中之义。

(一)数字化身的法律性质

随着“元宇宙”应用的不断成熟,现实社会与网络社会在物质层面的隔阂正不断被打破,一个虚实相融的数字世界正在生成。“元宇宙”用户以“数字化身”进行数字化行为也开始对现实社会产生直接影响。“数字化身”与“数字身份”既有联系又有区别,但两者关系仍待澄清。一方面,典型的数字化身,譬如利用语音合成和深度学习技术塑造出的具有人类形象的“数字播音员”,具有一定的财产属性,有学者甚至将其定性为一种虚拟财产;而数字身份则更多强调特定主体的识别功能,侧重体现主体的人身权益。另一方面,两者在数字身份认证这一命题上具有紧密的联系:数字身份是元宇宙建设及其问题的起点与归宿,而只有通过数字身份认证,验证数字化身背后的自然人的真实身份,才能在元宇宙中破解数字化身所致的信任难题。

在厘清数字身份与数字化身关系的基础上,分析数字化身的法律性质,可发现学界就此问题始终未形成明确共识。有观点认为,用户的数字化身本质上属于民法典第127条规定的“网络虚拟财产”,并不具有独立的法律地位。只不过,数字化身与其他人工智能系统并无本质区别,也需通过反馈训练,这一过程类似人工智能体,但这并不足以使其获得独立人格。有学者进一步认为,数字化身作为用户在平台、人工智能等交互中创造的事物,属于美术作品,应当被纳入版权法的保护范围之内。不过也有学者提出了数字化身“人格相对独立论”,主张数字化身既非财产又与自然人非同一人格,其自身具有独立人格。区分两者的独立性,亦即采用人格独立和财产独立原则,而非将两者混同,有利于对物质世界和元宇宙世界中成员的信赖利益的保护。更为综合的观点则认为,数字化身与“真身”的关系不能一概而论,而应当区分“与真身结合的智能数字人”和“与真身分立的智能数字体人”这两个概念。该观点进一步提出前者实现了“真身”与“化身”的统一性,其主体地位应当遵循物质世界的主体地位规则,而后者本质是一种“脱离人体独自进行认知的延展认知技术”,应当赋予其独立的法律主体地位并按照人工智能组织体予以规范。

抛开抽象的法理哲思,妥善确定数字化身的法律性质,需要综合考量数字化身技术的既有水平与现实主体参与数字身份构建的具体情形。现阶段,元宇宙的核心仍在于增强虚实世界的交互,而非肉身向其中“移民”。不能忽视的事实是,“数字化身”仍然仅具有工具属性,不能脱离主体而独立存在,主体对化身的支配,需要数据的“投喂”,甚至情感的投射,需要配备专有算法来处理和分析在自适应交互中产生的复杂信息。可见,在既有的数字化身技术下,数字化身主要体现为一种工具而非主体。因此,强调数字化身具有独立人格或在部分情况下肯定其主体地位的观点,并不符合现阶段人工智能技术与元宇宙应用的发展现状。

(二)可信数字身份认证的建构路径

身份问题,本质是在追问“我是谁”,其形成离不开社会关系中的人际互动,对身份的控制也成为公民信息权益的重要表现。网络空间拓展了人的身份建构的空间,使得每个人都可以根据自己的选择形成各种各样的“数字身份”。然而,赛博空间中的“数字人”不断具有影响现实社会的力量,使得建构可信数字身份认证体系成为人工智能法的起点问题。

身份认证问题的核心在于建立行为与特定主体之间的连接,因而确保数字身份的真实性、互操作性、安全性与合规性应当是可信数字身份认证体系的基本原则。数字身份认证系统的构建路径方面,多数学者主张建立分布式而非中心化的数字身份认证体系。于锐认为,中心化的身份认证系统多由互联网平台控制,平台出于利益驱使泄露用户信息和随意决定终止用户账号权限的情况层出不穷,并进一步提出分布式数字建设的两种思路:一是“传统数字身份+区块链模式”;二是由用户控制身份,创建全新的区块链数字身份系统。类似地,传统的集中式或联合式身份认证系统赋予个人较低的数据控制能力,难以迎合数据要素市场发展的需求,采用去中心化的数字身份系统或可实现数据访问控制的透明度,并可改进既有无效、滞后的同意规则,为数字身份系统用户提供连续性、实质性的同意。

此外,构筑可信数字身份认证体系离不开强有力的监管框架。随着下一代互联网的发展,去中心化身份等可信身份责任模型应用不断推广,从验证层、应用层和信息层三个技术层面完善责任监管正在落地。行政主体是否可以作为元宇宙区块链中的验证节点,将现实世界中已经存在的关于身份和财产的信息与元宇宙中的进行互相验证,提升数字身份认证系统的可信性与权威性,成为制度设计的选择之一。

四、法律行为领域研究未取得实质进展

法律行为制度是实现主体权益的执行机制。数字财产权利的变革,需要依托于新的执行机制方可真正实现,从而达到虚实空间交互的根本目的。因此,研究法律行为的数字形式注定是人工智能法最为重要且最为困难的领域。然而,当前行为论的研究无论在智能行为的外延抑或内涵方面并未有实质性的进展。

(一)智能合约研究从理论探索到应用分析转变

智能合约是智能行为中最受关注的部分,智能合约的有关文献数量不断增加。相关研究内容可大致划分为三类主题:一是对于智能合约基础理论的进一步研究,如智能合约的定义、法律性质等;二是关于智能合约在具体领域的应用,如著作权保护、政府采购等应用场景;三是聚焦智能合约的适用困境以及可能的解决之道。

1.智能合约的基础理论研究有待进一步深化

对于智能合约的认知,既有研究从技术与法律两个角度进行了论述。从技术层面来讲,智能合约自动执行的基本逻辑可以归纳为“若发生某种情况,则执行某项结果”。从法律层面来讲,早前学说多主张从广义和狭义两个层面对智能合约进行定义,有学者重提这一分类,但对两种类型赋予了不同内涵。前者所指称的智能合约包括自动履行、区块链技术使用许可、标的、价款、争议解决方式等一切约定在内,而后者所谓的智能合约仅指合约中“ifAthenB”的自动履约条款。

相关研究成果也对智能合约法律性质继续展开讨论。既有研究大多认为智能合约虽然以代码而不是文字的形式呈现,但其本质上仍属于合同,系电子合同的“升级版”。目前来看,较多学者仍支持该观点。夏庆锋认为,智能合约应当被定性为一种区别于传统合同的数字合同。这种观点虽强调了智能合约与传统合同的不同,但却承认其符合合同的本质,因此仍未脱离“合同说”的范畴。

利用传统民法理论试图为智能合约定性的另一尝试是“负担行为说”。该说指出,“合同说”难以解释智能合约对当事人合同撤销、变更、解除权利的限制问题,因此将智能合约分为广义和狭义两种形态,并认为将狭义上的智能合约(即自动履行条款)定性为一种负担行为,负担行为不仅可以合理解释其对当事人合同撤销、变更等权利限制的问题,亦可以囊括其应用汇票承兑、遗嘱等更多私法领域的可能性。这种学说的解释力究竟如何,恐怕仍有待未来进一步的类型化研究。

2.智能合约的具体应用场景不断丰富

虽然有关智能合约基础理论的研究略显不足,但关于智能合约的应用场景的研究成果增多。在著作权交易与保护领域,智能合约有助于提高著作权交易速率、降低成本,维护著作权交易安全,最大限度地保障著作权人的合法权益。在NFT艺术品保护这一特殊领域,区块链对于即时权属信息变更发挥着公示的效用。本年度至少还有如下智能合约的应用场景被触及:一是在防治保险欺诈领域,二是在政府采购的招投标领域,三是在司法领域。

综上所述,既有研究多将智能合约作为区块链法律问题的一个分支,较少文献能够从智能合约技术构造、应用场景,尤其是未来元宇宙数字化空间的应用前景分析智能合约对法律行为制度的挑战,总体研究水平尚未取得实质的提升。是否有必要跳出“合同”和“负担行为”的理论纷争,根据智能合约的具体类型与应用场景论证并验证其法律属性,有待后续研究。随着智能合约技术应用的进一步推广,智能合约的法律问题的研究价值将进一步得到凸显,未来有关的学术研究将逐渐呈现理论与实务“两条腿走路”的发展趋势。

(二)知情同意规则争议与调适

民事主体的“同意”在私法秩序的建构中具有重要意义。进入数字时代,知情同意规则成为取得数据产品等数字财产的重要方式之一,个人信息保护法也将个人信息主体对信息处理行为的“知情同意”确立为信息处理行为合法性的基础之一。当前学界对于知情同意规则的讨论除了涉及知情同意中“同意”的性质与有效条件等基础理论外,还逐步深入该规则应用的具体领域,针对其适用中可能存在的冲突与矛盾开展了有针对性的研究。

1.知情同意规则中“同意”的性质与有效条件

对知情同意规则中“同意”性质的不同认识,将导致知情同意规则适用的较大差异。然而,目前就同意的性质问题,学界却仍存在较大分歧,主要可以分为“意思表示说”和“法律行为说”两类观点。持“意思表示说”观点的学者目前占多数。在明确法律效果是否按照主体意思产生是判断行为属于意思表示还是事实行为的关键的基础上,于海防教授指出“同意”行为的法律效果之产生根据为信息主体的意思自治而非法律的规定,同意因此应当被界定为一种“意思表示”。因为法律对个人信息处理“同意”的规定只是对信息主体“同意”的一种限制,并不能因此认为“同意”欠缺产生法律效果的内心意思。夏庆锋在承认“同意”为意思表示的基础上,认为网络公司应当充分尽到通知义务,设置更为严格的动态匿名化方法,以确保用户“同意”这一意思表示的真实性。在意思表示定性的基础上,有学者将个人信息主体的同意界定为一种“单方法律行为”,认为基于主体的“同意”,信息处理者取得了一项“得为的地位”,并由此可在同意范围内对主体的信息利益进行干涉。

然而,也有观点认为,个人信息处理中的“同意”并非严格意义上的法律行为,而应当被归为一种准法律行为。其理由在于,知情同意规则中的“同意”虽然具有行为意思、表示意思,但是在效果意思方面存在缺陷,因此只能被定性为准法律行为而非严格意义上的法律行为。

关于知情同意的有效条件,既有研究多从知情同意的实质性和形式性两个方面进行阐述。王洪亮等认为,“有效同意”的构成要件除了信息主体的同意能力、作出同意的自愿性、明确性、充分知情性等实质性要件外,还应当符合一定的形式要件,即同意主体的同意应当以明示方式作出,默示同意、预设同意和不作为都不能构成一个有效的同意。但就默示同意是否构成有效同意这一问题上,姜晓婧、李士林等则主张不能一概而论,通过引入场景理论,将信息处理行为分为数据性和信息性行为,认为“信息性行为”应当严格适用知情同意原则,默示同意不构成有效同意,而对于“数据性行为”只需信息主体的“知情”,而“同意”则不作为生效要件,更无需讨论同意的有效条件问题。姬蕾蕾也认为,默示同意下信息主体在无意思表示的前提下“被签订”合同,这种不自由、不真实的承诺呈现效力瑕疵。

2.个人信息提供中“三重授权原则”的冲突与调适

“三重授权原则”在“新浪微博诉脉脉案”判决中被首次明确提出,其经典表述为“用户同意+平台授权+用户同意”,即第三方通过平台方获取正常经营范围所需用户数据时,平台方须经用户授权,第三方既须经平台方授权也须经用户重新授权。“三重授权原则”的法律依据是个人信息保护法第23条,目的在于促进个人信息保护的同时也对数据信息产业的健康发展进行适当引导。

但“三重授权原则”的机械适用违背其初衷。学界从不同角度主张对“三重授权原则”的适用进行反思。向秦认为,应当从主体、客体和场景三个方面对三重授权原则的适用范围进行限制。具体而言,从主体方面,个人信息保护法第23条中的“个人”仅限于自然人,提供方既可以是商业领域提供者也可以是国家机关处理者,而平台方则仅限于非国家机关处理者。在客体方面,公开数据的处理和提供不适用三重授权原则,但第三方仍需受到“合理”范围内处理的限制。在适用场景层面,爬虫和手机系统等场景不适用三重授权。徐伟认为,个人向信息处理者提供的个人信息若涉及第三人信息,应主要着眼于个人与第三人的法律关系:在第三人提出异议前,两者并不存在权利冲突,此时不构成侵权;而当第三人提出异议后,第三人的信息权利超越了个人的信息权利,此时信息处理者应当按照第三人请求采取删除等措施。

类型化讨论“三重授权原则”适用成为学者们努力的方向。类型化有助于达成个人数据权利、数据持有企业的数据权益以及数据市场竞争秩序保护三种法益间不同主体利益的“纳什均衡”。刘辉主张,将数据分为可识别的个人数据和衍生数据,前者的流转无需数据持有企业同意而必须经过数据主体同意,而后者则恰好相反。谢晨昀则从法律经济学的角度出发,认为“三重授权原则”有悖于经济学中的“卡尔多—希克斯效率”原则,需要通过区分合规接入和插件接入的不同条件,分别适用数据可携带权和“三重授权原则”,来保障数据的自由竞争,平衡两者间的价值冲突。

3.具体领域中的知情同意研究

除了对知情同意规则在理论层面的探究,该规则在具体情境下的适用问题得到了关注。人脸识别技术是将自然人探测图像(通常为视频、照片形式)转换为面部数字模型或模板的技术,具有检测、验证和识别等基本功能。目前,学界普遍认为人脸识别技术所采集、处理的人脸识别信息属于敏感个人信息,一经泄露导致的损害后果可能伴随终生,因此需要给予其更高强度的保护对“知情同意”规则在该领域的适用作出相应调整成为努力的方向。譬如,姜野提出健全人脸识别信息知情同意的动态择入和择出制度,采用以择入机制为主的“知情同意缺省”规则,通过同意的“动态验证”进一步拓展择出机制的范围与方式,同时要求信息处理者承担一定的信义义务,以缓解信息主体与信息处理者之间的地位不平等情形,避免数据鸿沟的产生。叶涛在区分人脸识别技术应用的不同场景的基础上,提出公共场所中的人脸识别技术可分为绝对应用场景、相对应用场景和禁止应用场景。对于其中的禁止应用场景,当技术应用具有安全风险或者存在伦理歧视时应当严格禁止技术应用,且排除知情同意规则作为违法性阻却事由的可能性,由此防止形式上的知情同意实质损害公共利益和个人利益,从而引导科技向善发展。

随着数据要素市场的不断完善,个人数据作为一种重要的数据类型在数据交易等过程中不断得到流通,由此引发学界对个人数据交易中如何适用知情同意规则的关注。林洹民认为,个人数据交易由基础合同关系和数据处理关系组成,前者受合同规则调整,以主体的承诺为生效要件,后者则是个人信息法的保护对象,受到知情同意规则的限制,应当分别适用不同的规范路径,两者并行不悖,并可以相互补充、相互影响。苗泽一认为,个人信息主体与数据服务方实质上并非平等,用户为使用数据方提供的服务,不得不签署用户协议,然而这种同意仅为获得精准服务,并不以提供数据交易的原始数据为目的。对此,需要设置数据个人信息处理特别义务,要求交易数据供给方明确提供用户对数据交易的授权为交易的前置环节,以避免数据供给方利用自身优势地位对于个人信息进行肆意处理。

“知情同意”作为一个专业的法律术语最早源于医疗卫生领域,即医生通过让病人了解医疗行为的目的、手段、性质及后果,由病人出于自愿接受医疗行为。而在个体基因保护领域,由于个人基因信息具有一定的家族延续性和种族关联性,使得其关涉的主体不仅仅是本人,还包括其他具有血缘关系家庭成员,导致知情同意的主体具有不确定性,因此传统的知情同意规则显然不能适应实践的需要。基于此,有学者主张在知情同意模式的选择上,要从“个体的一次性特定同意”走向“共同体的动态概括同意”,制定匿名化基因信息的再识别规则,推进知情同意原则的改良创新,实现个人基因信息利用与保护的“良法善治”。

(三)数字签名的效力问题

数字签名在数字合同订立过程中具有“表其主体,示其同意”的双重功能,其自身的可靠性是合同效力的重要来源。“信任,但需要验证”,为保障数字签名技术成为当事人真实意思表示的传递者而非各种欺瞒、诈骗手段的协助者,需要对有效数字签名的认定规则进行分析。首先,数字签名是目前电子商务、电子政务中应用最普遍、可操作性最强、技术最成熟的一种电子签名技术。邢爱芬提出,可靠的数字签名需要同时具备专有性、专控性和防篡改性。专有性需要在给签名人颁发数字证书前验证签名人身份,并要求签名人设置专属于自己的密钥,以此保证数字证书不被冒用,数字签名为签名人专有;专控性是指在数字证书申请过程和电子签名过程中,与此有关的数据电文、申请资料等均由证书申请者、电子签名人控制,而非被他人控制;防篡改性则是从技术层面对数字签名提出的要求。

其次,也有学者结合电子签名法的最新修改,提出了有效数字签名的双重认证规则,即在区分一般数字签名和可靠数字签名的基础上,从“识别”和“认可”两个层面采取一体化的有效性认定规则。具体来讲,在识别视角下,只有当电子签名的制作数据与签名人本人存在“稳定且独特”的联系时,我们才能认定这一电子签名高度稳定地发挥了识别功能;在认可层面,如果电子签名系签名人真实的意思表示,那么这就要求相关数据电文与电子签名必须都具有“完整性”,即必须保证两者的内容自签名人签署后不会发生改动。

综上所述,目前学界对数字签名效力的讨论多局限于物理世界的电子签名法,尚未充分考虑元宇宙技术应用背景下数字签名带来的新改变,既有的数字签名可靠性检验规则能否满足元宇宙身份验证的需要,还有待进一步讨论。在关于法律行为的研究上,对于这一问题的基本内容、具体表现与理论内涵等,尚缺乏基本的梳理与回应。

五、新兴权利的勃兴及其体系化

权利是法学的核心范畴,也构成了人工智能法的核心制度。从传统法律观察,人工智能法的权利多属于“新兴权利”。这些权利多因人工智能法新的利益产生、确认而生成,尤其以财产权利最为明显,但又不限于财产权利。可以乐观地估计,在人工智能法疆域里新兴权利将进入勃兴时代。

(一)以解释权为核心的算法权利研究进一步深入

算法是人工智能体系中相对透明和确定的因素,“算法黑箱”并非人为“黑幕”,而是因基本原理所限导致的验证性和解释性的不足。界定算法权利在客观上有助于规范算法使用人算法权力的行使、防御算法权力滥用风险的权利类型。既有研究一般认为,算法权利是算法相对人享有的一系列旨在规范算法权力行使、防御算法权力滥用风险的权利类型,本质上是一个具有开放结构和规范弹性的权利束,具体包括算法解释权、理解权、自动化决策权和技术性正当决策权利。算法权利束之所以能形成,原因在于这些权利都趋向于促成权利束的中心价值。因此,如何通过梳理这一系列权利及其共同指向的中心价值,以此确定算法权利的束点仍是研究的方向。

现阶段,霍费尔德的法学核心范畴成为学者分析算法权利的常用武器,在“要求权、特权、权力、豁免、义务、无权利、责任、无权力”概念体系下,其中“权利”是某人针对他人的强制性的请求,特权则是某人免受他人的权利或请求权约束之自由。有学者提出,算法权利只是霍氏理论中“要求权”与“特权”的组合,其“要求权”体现在针对义务承担者为特定解释、更新或纠错的强制要求,“特权”则意味着是否行使算法解释权是权利人的自由,属于“一阶权利”。与之相对的算法权力则属于霍氏理论中的“权力”,是一种可以改变“要求权”和“特权”、能够改变既有状态(法律关系)的“二阶权利”。算法权利与个人信息权均为大数据、算法技术发展催生出的内含多个权利的权利束,两者的权利内容难免有许多重复之处,在立法尚未给予回应时,算法权利理论工作应与个人信息权利束深度结合、将其融入个人信息权体系之中。

在算法权利的诸多权利内容中,“算法解释权”是研究热点。个人信息保护法第24条第3款是算法解释权的基本规范。算法解释权意在平衡算法使用者与用户之间不对等的风险负担和责任分配,包括企业和用户之间的权利义务、以及基于自动化决策产生的风险负担。一般认为,赋予用户要求算法使用者对算法解释权利的目的在于提高算法透明性与可理解性,提高用户行使个人信息相关权益的可能性,客观上起到了制约算法权力的效果。算法解释权的功能涵盖事前的知情、事中的理解、事后的修正、更新以及请求救济,实则超出了单一权利能够容纳的权利功能极限。个人信息保护法第24条第3款适用不要求决定仅由自动决策算法作出,从而将该权利的适用范围扩张到决策支持型算法、分组型算法与总结型算法等类型,全面规范公私领域中的算法应用。然而,该款并未明确规定算法解释权的法律效力。基于这一立法现状,有学者认为,目前为算法解释权的相对人提供救济具有必要性和紧迫性,应关注算法解释权实施中的具体规则,使此种权利能够尽快落地,实现从权利到利益的转化。但相反观点认为,算法“解释权”理论无法消除算法决策的“非知”,即不透明性,真正可取的路径是立足归责规则,在尊重算法决策“非知”的基础上,要求算法决策控制者承担法律责任。

既有研究将算法解释权建构为一种权利框架或权利群,非单独的、自然的权利,鲜少将算法解释权置于具体场域。就权利内容而言,算法解释权的权利主张都是程序性的,其实体性边界应根据具体场景下个人与算法决策者之间的沟通信任关系而确定,无法抽象化的划定清晰边界。就具体解释方法而言,一方面应要求企业充分了解和掌握算法的系统性解释;另一方面,应当根据算法所处的领域特征和影响力而要求不同程度、类别的算法个案解释。在算法解释的时间要求(事前、事中、事后)方面,有学者认为,在敏感个人信息的自动化决策场合,若算法的事前解释仅根据个人信息类型的敏感度进行判断,准确率低容易导致个人信息的侵权风险。除此之外,单纯的事后解释与相应的“拒绝+删除”模式无法完满地救济被侵权人,还需辅以民法典合同编或者侵权责任编中的损害赔偿责任救济手段,赋予个人信息主体更周延的救济途径。进一步地,事前解释应限定于“可能产生重大影响”的敏感个人信息处理场合,事后解释则发生在“对个人权益已经产生重大影响”的自动化决策场合。有学者对该观点进行补充,认为信息主体应满足“仅通过自动化决策的方式作出决定”和“对个人权益有重大影响”两个要件,且需与信息主体的其他权利配合行权。

除了私法视阈的讨论,因公私法的规范对象与规范目标不同,公法和私法上的算法解释权相应地呈现不同情形,对此应当通过区别化、精细化的立法使得算法解释权随场域的更换而差异化地配置成为可能。

(二)数据权利研究的二重维度

相较于算法权利,数据权利问题研究堪称学术热点。数据是人工智能的核心要素,也构成了数字社会主要财产资料。围绕数据,产生了数据安全与个人信息保护,产生了数字资产、数据垄断、算法垄断与空间隔离,进而产生了数字社会国家与社会关系的基本逻辑,权力与权利关系的基本立场。由此我们可以将既有研究划分为二种不同的维度予以观察。

1.数字人权维度

数字人权是第一维度。马长山认为,信息社会带来了第四代人权,“以人的数字信息面向和相关权益为表达形式,以智慧社会中人的全面发展为核心诉求,突破了前三代人权所受到的物理时空和生物属性的限制”。也有学者不赞同第四代人权的提法,认为数字人权的概念可以在既有人权体系的框架内得到合理解释;个人数据信息类权利未构成人权的代际革新。可以由该观点观察所谓数据人权的基本内涵:“数字人权”是个人享有的人权,义务主体指向国家和互联网平台、商业公司等社会组织;其权利义务关系表现为防御型与合作型并存,即当国家及其政府部门因公共管理的需要而收集个人数据时,应当履行不得泄露、毁损、滥用个人数据等人权义务;从积极义务来说,互联网平台、商业公司等社会组织收集个人数据时,国家应当要求这类社会组织履行不作为的消极义务和积极保护的作为义务。数字人权界定的关键在于,其是一种新兴的权利还是仅表现为基于数字的权利,两者的区别在于,在新兴的权利下人权代际范式发生根本性的变化,即人权主体、义务主体、基础关系三要素同时扩展而演变为新的代际范式,从而容纳新兴的人权需求,而基于数字的权利则无需该变化。姚尚建倾向于将数字人权认定为是一种新兴的权利,因为借助于商业繁荣带来的平等关系以及工业革命形成的技术手段,人类可以正视自身的地位并形成权利的联盟。从数据出发,形成新的社会结构与社会形态,也形成新的权利结构。但是由于权利对于数字的技术性依赖,数字权利的匮乏往往率先在个体身上得到显示。数字权利因此应遵循两条递进的路径:从数据出发,共享公共数据是权利破茧的法律基础;从算法出发,个体参与并干预算法是权利维持的外部条件。

2.数据权属的私法构造

数据权属的私法构造构成了数据权利研究的第二维度。与前一阶段学者聚焦于主张对数据赋权,并致力于建构数据权利体系不同,2022年度反思赋权观点的成果不断呈现,这些成果试图在不赋权的背景下探索数据利益配置问题。无论对于数据赋权持何种观点,在促进数据流动与发展数字经济,乃至促进数据权益在用户、数据控制者或数据使用者等多元主体之间实现最优配置,并无二致。问题的关键是,哪种认识更契合数据的本质特征,正是由于数据要素的非竞争性、非排他性/部分排他性、易复制性、外部性和即时性等经济特征和数据资产的多次交易性、价值非线性、交易不一定让渡所有权或使用权的特征导致其确权困难。

现有赋权说的观点聚焦个人、企业、国家这三个主体之间的利益平衡。从主体角度讨论有助于检视这些观点的基本问题意识。

在个人层面,基础性的问题在于能否或应否区分个人信息与个人数据。申卫星提出,隐私、信息与数据之间关系的界定是数字时代构建个人权利的前提和起点。个人信息作为与个人相关的事实状态之描述处于内容层,私密信息是对隐私事实的信息化描述,个人数据作为个人信息的载体处于符号层。三种客体之上应分别设置隐私权、个人信息权与个人数据所有权三种不同的框架性权利。个人信息权属于人格权范畴,个人数据所有权归为财产权。

在国家层面,宋方青等提出国家数据权,强调以“整体数据”为主的数据主权。整体数据是国家主权范围内部各类数据的总和,包含着所有的个人数据、企业数据和公共数据等。数据的“国家所有权”需要通过具体的行政机关来加以实现,因此政府才是数据所有权的具体代理主体,享有本国范围内对个人集合数据占有、使用、收益和处分的权能。如何由数据主权过渡到国家所有权,仍有待进一步研究。至于数据国家所有权的理论基础为何,不过,庞琳认为,数据资源作为一种“类自然资源”包含着丰富的内容,例如数据的管辖、利用、许可、赋权、交易等,具有公共财产的属性,可推定数据资源国家所有。但数据资源国家所有属于宪法意义上的国家所有即“全民所有制”,并非等同于民法意义上的所有权。因此需通过数据分类分级的利用规则来完成数据资源国家所有私法路径的构建。衣俊霖则借助契约主义论证框架,提出公共数据国家所有可置换为一个虚拟的公共信托协议——国家受全民之托管理公共数据,但最终收益全民共享。

在企业层面,一方面,对于企业数据权利的形成机理,学者们普遍认为合法收集并加工处理是其权利基础。另一方面,对于企业数据利益配置的基本问题意识是促使平台企业合法使用数据,推动平台经济健康发展的前提。既有研究多数赞同企业作为处理者要尊重并承认信息来源者的权利,并在此基础上探究其与个人信息主体之间的关系。在承认数字财产的生产者对数字财产享有合法权益的基础上,郑佳宁试图以“不损害在先权利”规则协调数据信息生产者和数字产品生产者之间的利益冲突。

企业数据权益配置的具体方案。目前多数成果舍弃了早先的绝对赋权或者单一的赋权方案,倾向更综合的利益平衡体系,即通过阶层分类的方式实现数据权益配置,该方式强调企业数据权益配置有一定的限制条件,但对于具体的限制条件学者们各有不同观点。陈兵主张以数据的分类分级制度为基准,结合具体应用场景,根据特定场景下数据的功能与属性,判断其荷载的权益类型,配置对应的权属关系。在明确数据权属后,建立配套的多元利益分配制度。与该观点相似的还有类型化表达制度,余筱兰主张,对数据权益冲突进行类型化表达,首先表达为多元的数据利益攸关者,其次类型表达为丰富的利益内容类型,当产生利益冲突时,则通过利益衡量方法论的指引有针对性地探索和解冲突的路径。锁福涛也主张,构建数据财产权的“三元分配”模式,将数据财产权中的个人信息财产权归属于用户,数据财产权中的数据用益权归属于数据平台,数据财产权中的数据获取权归属于第三方主体,从而实现数字经济时代个人信息保护、数据平台利益维护与数据信息自由流通之间的利益平衡。

更为综合的权益配置方式被陆续提出。包晓丽提出数据权益配置应当遵循“二阶序列式”论证规则:一是公共利益与人格利益一般优先,同时,人格利益优先于财产利益;二是财产利益按贡献度分配。判断贡献度的总原则是:对资产评价收入影响更大的一方,得到的产权份额也应该更大。由于企业具有比用户更强的数据增值动力,因此在企业满足向用户提供对价服务、妥善保护用户隐私等人格利益、维护数据安全的条件下,应当将数据的剩余索取权分配给企业。但按贡献分配的准则应当与纯粹程序正义的观念相契合,当用户不同意或者撤回对个人信息处理的同意时,用户的贡献减少,但平台服务商也不得拒绝提供相应的产品或者服务,这是机会正义的基本要求,赵鑫认为在数据确权时注重边际贡献思维的运用,充分考虑边际贡献度,能鼓励对数据价值的挖掘,使相关主体拥有更强的投资意愿,扩大最终的产出水平。沈健州则提出“二阶四层”的数据类型体系构建,根据数据是否承载个人信息以及是否处于公开状态,将数据区分为四种类型,即承载个人信息的公开数据、不承载个人信息的公开数据、承载个人信息的非公开数据、不承载个人信息的非公开数据。

主张数据不赋权的观点不应被忽略。“不赋权说”主张搁置在设定权利类型、表达权利内容等方面的争议,旨在以规制他人行为的方式间接为数据控制者创设利益空间,从而克服源于权利客体、权利主体、权利内容等方面的困境,实现数据权益保护与数据流通利用之协调。“不赋权说”的基本问题意识是,数字经济的发展并非一定要将数据完全归属于谁,重要的是定义企业之间的数据使用权。企业数据使用权是一种基于责任规则理论的相对权,通过企业之间的合同所定义和分配的,相较企业数据财产权更为契合数字经济的发展。黄东东等提出“责任规则+管制规则”的组合模式以解决数据权益配置问题:用诸如标准合同、企业数据保护信誉机制、技术标准、数据资产和数据侵权赔偿定价机制等,对某些重要的剩余控制权配置予以明确,以支撑相应法律规则的执行或弥补其不足。这种类似分散立法的功能,不仅可以积累经验,而且可以降低立法成本和立法失败的社会成本。“不赋权说”具有其合理性,但目前有关“不赋权说”下权益配置的观点仍待充实。

(三)加密的权益性质仍未获得必要重视

未来数字资产的权益内容及其实现均依赖于加密,加密必将成为一种新型的权利。但学界对于加密的讨论较少。既有文献主要探讨了密码法实施后,加密技术在保护个人信息的同时,也给个人信息保护的法律机制提出的挑战。

1.加密对个人信息的保护

刘晗认为,法律赋予公民和法人密码使用权,将极大改变目前大数据时代信息储存和传输过程中大面积不受加密保护的状况。2021年出台的个人信息保护法将加密技术与个人信息的法律保护机制相衔接,在具体的法律保护机制(如知情同意等规则)之外,着重规定个人信息处理者使用加密技术的制度,为个人信息的保护提供了一条技术支撑的路径。同时,对于个人信息处理者而言,运用加密技术也是安全性较高而成本较低的一种合规举措。刘蓓也赞同此观点,认为密码技术是个人信息与数据传输、存储及使用的重要技术保护手段。在互联网安全中通过防火墙或者IDS等技术手段设置的“界”异常关键。数据保护同样需要“界”,密码技术可以承担起设立“界”的功能。

2.加密对个人信息保护带来的挑战

刘晗指出,加密技术也给个人信息保护及其法律规则带来了新的挑战,甚至对于互联网信息和代码规制提出了新的问题。第一,一旦数据流通之后,其他主体若可以通过解密技术反推,从而还原原始数据,突破个人信息去标识化和匿名化的限制,就会使得个人信息权利重新受到巨大威胁。第二,以隐私计算为代表的新兴数据处理技术却面临着法律评价上的不确定性。第三,挑战个人信息保护法体系中预设的去标识化和匿名化的二分法。加密解密技术的发展完全可能产生一种现象,即原先无法复原的数据可以通过新的技术予以复原,从而影响个人信息保护法的适用范围。该法第4条规定,匿名化信息不属于该法保护的个人信息。此时,是否应该在密码法之下的加密规制体系中限制此类代码的开发和技术的使用,就变成极为关键的问题。

结语

当前人工智能法学研究在认识事物本质与促进规范研究两方面均取得了诸多重要进展。人工智能法具有不同的层次,具有公法面向的国家安全、网络安全、数据安全和个人信息保护为基础层以及建基于其上的人工智能法内容层。这一体系涵盖了法源论、主体论、行为论、权利论、原则论与责任论“六论”。限于篇幅,本文仅综述近年来权利主体的变化、权益及其变动形式变化(法律行为)以及法律原则的四部分内容,意在廓清人工智能法的一般性议题,对于有专门法规范基础的研究,如个人信息保护、数据安全乃至通证问题等并未纳入综述范围。另外,虽然法律人工智能的研究在本年度取得了可喜进展,但限于篇幅,本文不再综述其内容。

在很长时间内,人工智能法学研究仍需依托具体部门法问题意识与研究方法开展,从这个意义上说,所谓的人工智能法仍是“部门法化的人工智能法”。不过正是这些部门法的探索,促进了人工智能法学研究的规范转化,描摹了人工智能法的一般议题,促进了人工智能法的研究方法觉醒,拉开了法释义学研究序幕。

展开阅读全文

页面更新:2024-04-01

标签:人工智能   议题   合约   算法   法学   主体   权利   核心   规则   数字   法律   数据   陈吉栋

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top