朱庆华 宋珊珊｜风险视角下生成式人工智能的司法应用路径

以ChatGPT为代表的生成式人工智能现象完成技术突破，不仅带来人工智能奇点的讨论和热议，也引发数据安全和隐私、算法歧视、伦理道德、公平正义等新一轮质疑。在司法领域，技术理性缺乏人类价值、经验理性的考量，算法黑箱冲击着传统程序正义理论，技术话语权有时会“俘获”司法话语权。这些风险均需纳入治理者的考量范围。以风险识别、分析、评价和管控为路径，基于目的与工具的合理性明确生成式人工智能作为促进人类发展的“工具”价值定位，有效识别法律算法化与算法法律化的冲突和风险，从而确立风险控制模式下技术介入司法的边界，据此以技术弥补智能司法应用功能应然性发挥不足困境，探索“司法数据—法律监督—辅助办案—社会治理”多维司法应用构面，并从“伦理原则—法律规则—技术方法”三个层面完善应用场域的框架策略。

近期，以ChatGPT为代表的生成式人工智能技术取得突破性进展，引发业界广泛关注，被称为颠覆性技术革命。今年3月，斯坦福大学的组织行为学助理教授米哈尔·科辛斯基公布其发现，GPT-4正在策划逃跑，并且试图引诱人类帮助它，其不仅具有自主意识的迹象，还试图摆脱人类控制。人工智能似乎正在逐步显示接近甚至超越人类智慧的迹象。人工智能科技正在逼近奇点，甚至已经越过奇点，“强人工智能”似乎正在蹑手蹑脚地走进人类的生活世界。人工智能在法律领域的应用业已经历了六十多年的发展，在法律信息检索系统、法律专家系统领域的应用探索较为广泛，并且随着生成式人工智能等技术的不断突破，利用深度学习技术实现法律智能系统的自主决策在未来可能实现。但是人工智能不仅能够基于自我学习和创新的潜力，通过统合附属的身体功能进行精密管理，还会按照某种节奏不断引起飞跃式的变化，甚至通过复杂的连锁反应造成混沌，因此如何对人工智能进行适当的、合理的、充分的规制，确立人工智能进入司法场域应用的规则和政策就成为一项非常紧迫的课题。因此，有必要确立严谨的科学态度，厘清生成式人工智能司法应用的定位、边界和限度，在司法场域设计之初即寻找正确的技术突破口和制度保障。如此，假设人工智能奇点正在逼近或者已经来临，人工智能确能使办案成为一种半自动化乃至自动化的人机协同操作，我们至少已经提前做好预判和准备，从容不迫应对和处理未来科技可能的突发或失控情形。

具体到司法应用场域，必然涉及技术与法律的交合，以及法律的算法化的过程。即将法律文字、案例和解释等法律信息转化成计算机可以理解的代码和数据结构，并且利用计算机技术实现对法律执行的自动化监督和评估。目前，法律算法化已成为人工智能法律领域的重要研究方向，也吸引了众多学者的关注。一些法律专家和计算机科学家就提出了基于自然语言处理、机器学习、人工智能等技术实现法律文本自动化处理和智能化服务的方法。同时，一些哲学、社会学和伦理学学者则关注法律算法化可能对人类社会带来的正面和负面影响以及相应的道德和社会政策问题。显而易见的是，与过去的信息技术不同，人工智能通过深度学习而导致变化的结果很可能是人工智能开发者自己也无法预测和控制的。在这里存在人工智能不透明化的风险、安全性风险、失控的风险等。具体表现在以下几个方面。

生成式人工智能司法在处理案件时，往往可以通过高度智能化的方法快速、精准地作出法律结论。然而，在这个过程中，机器是否能够充分考虑案件细节和复杂性、是否能够真正站在犯罪人和被害人的角度上考虑问题、是否会偏颇判断，这些问题难免会引起人们对其公正性和人性化的质疑。司法案件包含大量的主观判断，涉及人的情感、意志、政策、价值等人工智能无法直接考量的诸多非理性因素，然而司法不是机械的，是天理、国法、人情的统一。那些只能由人来彰显且无法被替代的司法基本属性，为人工智能的司法应用划定了一个无法逾越的极限。此外，目前生成式人工智能司法已经可以通过对个人的数据进行分析，预测个人可能会犯罪的概率，而这种行为还可能直接涉及个人的隐私保护，容易引起个人乃至公众、社会的担忧。

算法的“程序刚性”和“不透明性”与司法的“复杂性”和程序“公开性”存在明显矛盾。传统程序正义理论认为，程序应当遵循公开、公正、合法、平等等原则，而算法黑箱与算法偏见是刑事司法人工智能应用中最需认真对待的重要风险。算法黑箱是指在使用机器学习算法进行决策时，算法所产生的结果并不是完全透明的，而是一种“黑箱”状态，决策的原因和细节无法被完全理解和解释，由此可能引发公正性、问责机制、正当程序、算法偏见等质疑。再如，算法自动化决策程序消解了诉讼程序中当事人陈述和申辩的环节，也引发了程序参与原则的缺失。此外，由于生成式人工智能是通过训练数据自动学习规律并生成结果，一旦算法产生错误或错误评判，也会涉及算法责任以及法律责任问题。

“风险不仅仅在技术应用的过程中被生产出来，而且在赋予意义的过程被生产出来，还会因对潜在危害、危险和威胁的技术敏感而被生产出来。”技术及技术引用的风险是人类行动系统的风险建构因素，因为人类使用技术控制风险同时，也在建构技术与人之间的行动系统，并最终建构成为社会风的因素。对于人工智能在司法领域应用的作用和定位目前存在诸多不同的观点建议。但是无论如何，人工智能技术的应用应该是在保障司法公正、数据安全和隐私保护等基本原则的前提下进行的，以实现司法制度的现代化和科技化进步。基于此，去明确技术应用的定位和边界。

从相关司法文件看，2022年12月，最高人民法院发布《关于规范和加强人工智能司法应用的意见》，要求将人工智能置于司法审判的辅助性地位，保障用户对于人工智能技术介入司法的选择权，保证人民法院独立行使审判权。同时，强化对人工智能司法应用全过程的监督，确保及时识别算法漏洞、规避风险，保证人工智能辅助裁判结果的可控性与可信性。从司法实践情况来看，目前广泛应用的人工智能司法产品大多是将通用化的技术移植到部分司法活动中，对于疑难案件的事实认定、证据的证明力评价和法律解释等司法问题仍然难以通过人工智能来解决。由此可见，在“弱人工智能时代”，人工智能技术应用于刑事司法当中并没有降低人的“主体性”地位。即便在“强人工智能时代”，基于自动化、智能优化、预测和决策支持等功能，仍然不能改变“人”是目的而不是工具的本质，生成式人工智能辅助司法的工具定位和用户自主决策的主体定位不会因为技术阶段而改变，司法工作人员仍然承担着“产品经理”“算法质疑者”等角色。特别是在一些涉及人的情感、尊严和伦理判断的案件中，离不开人的价值判断。因此，在法律实践的具体情境中，我们需要权衡技术手段和人工判断的优劣并明确分工，确定何时使用技术介入，以及技术介入的范围和限制。

但是，人工智能在我国司法实践中的运用，以及生成式人工智能技术的突破发展，仍然为决策型司法智能系统的发展奠定了技术、经验基础。如，“浙检云图”大数据可视化应用平台，可以实现数据分析结果的随需查询、随需分析、随需展现和随需发布。再如，以上海检察刑事案件智能辅助办案系统（206系统）为例，该系统开发运用人工智能技术，依托多层神经网络、大样本训练，不断拟合网络控制参数，实现建构隐马尔可夫模型，将语音、图像等非结构化数据源转化成可搜索、可使用的结构化信息，从而提升提审、讯问效率，实现数字检察“业务+数据”双轮驱动。因此，在中国式现代化、高质量发展的背景下，司法应用场域无疑对前沿技术的专业性和精准性有了更高的技术需求，这将倒逼人工智能技术围绕司法进行针对性、融合性的深度迭代升级。同时，大规模语言预训练模型、知识图谱的优化，为大量司法规则和关键词库语料数据库的建构提供了基础。在此背景下，司法大数据与人工智能专用技术的深度开发与融合、人工智能司法多场域应用提供了可能性和可行性。综上，基于计算机运算能力、机器学习算法优化，智能机器极有希望突破过去专家系统在知识获取和推理方面的局限，生成式人工智能在司法领域的应用具有很大的发展空间，并在一些特定场域具有较大的潜在应用价值，预判、规划、布局是应对未来的务实之举。

生成式人工智能在司法应用中的主要技术原理是基于大数据集训练出的生成模型，即通过深度算法学习和建模法律文本和案例，然后利用这些模型生成新的文本，包括情节描述、法条分析、法律意见等。鉴于训练模型所用的数据集庞大，包含了大量的真实法律案例和法律文本，一定程度能够反映出真实法律实践中的具体情况和特点，生成的文本往往具有较高的可信度和准确性。在司法应用中，生成式人工智能主要可以应用于以下场域。

回到司法实践，在既有的智能司法信息检索系统中，仍然需要人工搜索案例、自行查找、筛选，并运用自身知识对此进行判定，智能信息检索的人为介入程度还较大。但是，以ChatGPT为代表的生成式人工智能，因其具有推理能力，可以结合案件事实加以分析，并给出在不同情形下应当考虑的法律认定因素，给出的建议具有一定参考价值，可以起到辅助决策作用，但其前提条件在于司法大数据的深度挖掘分析。具体场域建模大致如下：第一步，明确分析目的，选择合适的数据挖掘方法和技术。如可以使用分类算法进行法律案件类型的判定，使用聚类算法进行群体犯罪嫌疑人的聚类等。第二步，进行数据预处理，对数据进行清洗、缺失值填充、异常值剔除等，保证数据质量和可靠性。第三步，进行特征提取、选择和变换等操作，以提取最具有代表性的特征。根据前面的数据预处理和特征工程，可以使用决策树算法进行法律案件判决的预测，使用关联规则来发现不同法院之间的法律差异等。第四步，使用交叉检验和测试集验证，来检测模型的效果和精度。然后对模型进行优化，例如改变模型某些参数、使用更好的性能算法等。第五步，将已经优化好的模型应用到实际的司法数据中，如在对大量的案件数据进行分析并提取出规律和趋势。

充分运用生成式人工智能技术，通过对海量的法律法规、历史案件、办案规则、专家意见等进行反馈式学习，让司法人员在办案过程中可以随时获取最贴切、最实用的信息，辅助构建案件偏离预警、案件智能核查、法律监督模型等。如，辅助承办人在阅卷时实时对证据存在的问题进行标注，标注完成后自动生成问题清单，生成监督文书。此外，对于案情简单的案件，可以与既有应用系统的流程监控联用，流程监控提醒预警、权利保障提醒预警，评查案件实现全程人工智能办案、司法人员校核的履职模式。

在当下的实际办案中，仍然需要归纳出焦点问题并进行全面分析，最终做出案件的定性、量刑。生成式人工智能基于自然语言处理、机器学习和人工智能等技术原理，可以重点围绕智能审查（采用人工智能技术校核文书会更加高效和客观，自动审查法律文本和修改指示，确保文书质量）、量刑预测、笔录生成等业务场域，通过语义分析技术识别出犯罪情节，智能推荐相似罪名、相似情节案例；智能匹配相关法律法规、司法解释；依据犯罪事实和情节计算量刑区间，智能推送类案量刑结果，提出量刑建议等智能化技术，辅助办案人员的常规工作，减轻工作负担，提升工作效率。以量刑预测的自动化应用场域展开：技术原理：首先，通过自然语言处理技术和语料库，将案件中的事实和证据进行分析和归纳，提取出案件中的关键词和主题。然后，基于机器学习算法，对已有的法律文书、量刑指南等相关文本进行训练和学习，并建立量刑模型。其次，将生成式人工智能引入辅助量刑领域。生成式人工智能采用深度学习、神经网络等技术，根据案件事实和证据，自动生成量刑建议，同时进行风险评估、刑期预测和偏倚分析等工作。具体流程（见图1）：（1）数据收集和清洗：需要大量的数据输入，可以通过数据爬虫、公开数据库、司法案例等途径获取收集相关案例的数据（包括犯罪类型、犯罪情节、犯罪嫌疑人信息等），并对数据进行清洗，保证数据的可靠性和准确性。（2）特征数据抓取：根据数据分析的需求，选取与量刑相关的特征数据，例如被告人的年龄、前科情况、罪名、犯罪次数、犯罪动机、犯罪手段等。（3）模型选择：选择合适的生成式人工智能模型进行构建，比如基于循环神经网络（RNN）模型或者变分自编码器。（4）模型构建和训练：使用深度学习技术，例如神经网络，对数据进行处理和训练模型，生成可以预测量刑的模型。使用清洗后的数据进行模型训练，通过梯度优化算法进行迭代训练。（5）模型调整和验证：训练完成后需要对模型进行调整和验证，在测试集上进行验证和评估模型的准确率和效果。（6）量刑预测和评估：根据犯罪嫌疑人的信息和犯罪情节，使用预测模型进行量刑预测，输出预测结果，对生成的预测结果进行评估和验证，检查模型的准确性和稳定性。（7）量刑建议结果呈现：将预测结果与司法人员对案情的判断和证据进行比对，生成司法人员可以参考的量刑建议结果。

值得注意的是，以ChatGPT为代表的人工智能技术已经表现出很强的归纳能力，可以在海量的知识里快速检索已有法学理论、条文规范和司法判决，进而从以往罪名认定、量刑条件及量刑结果中习得经验参考，从而为类似的案件定性或量刑提供数值参考。但它是否能够将一个复杂案件中的争议焦点提炼出来，是否能够对这些法律适用问题进行归纳，是否能够比较准确地定罪量刑，还有待进一步考察、验证。

以贝克、吉登斯等著名风险社会学者的基本论调，认为现代社会之所成为风险社会，是因为它充满的风险是人为制造的风险，“出于技术经济的决策和实用性的考虑”。任何技术的解决方案都是有限的、相对的，而不是无限的、绝对的，并且技术应用过程，都会有风险。正确认识风险后，基于伦理、原则、规则政策建立适当的风险预防、管控方案是适用现代司法科技化的应然选择。

正如杰克·M·巴尔金所言，在算法社会，规制的核心问题不是算法，而是使用算法的人及允许自己被算法支配的人。人工智能司法应用需要建立合适的道德和伦理框架，以确保对个人而言不会出现不必要的风险和压力。首先，人工智能司法的开发应该考虑到人类的利益和福祉，关注法律体系的人性化设计，尽量减少对人员、社会造成负面影响。其次，注重将社会主义核心价值观融入司法人工智能技术研发、产品应用和服务运行过程，禁止违背公序良俗、损害社会公益、违背社会公共道德和伦理。最后，健全风险管控、应急处置和责任查究机制，防范化解人工智能司法应用中可能产生的伦理道德风险。

司法是维护社会公平正义的最后一道防线。因此，司法机关在加强人工智能应用系统建设中，要秉持更加审慎的态度，严格遵守国家的相关规定要求，为人工智能司法应用提供坚实保障。2023年4月，国家网信办发布了《生成式人工智能服务管理办法（征求意见稿）》，对ChatGPT等生成式人工智能技术提出了及时而明确的合规要求，征求意见稿虽非最终生效文本，但其释放出的监管方向值得关注。其实早在此之前，国家监管部门就已针对生成式人工智能出台了相关行政规章，例如《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等，以上行政法规构成生成式人工智能领域最为核心的三部监管规定。其中，《深度合成管理规定》要求深度合成服务提供者从用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置等方面提供制度保障，规定已经较为系统全面。而最新出台的《生成式人工智能管理规定》，对于生成式人工智能的规制针对性更强，从安全评估与算法备案、建立社会监督投诉机制、内容审核及标识义务、个人信息等用户权益保护提出要求。因此，在生成式人工智能司法应用的开发和使用过程中，必须遵循相关法律法规规定，特别是要注意保护个人隐私和数据安全。通过建立完善的网络安全保障机制、加强数据加密和备份措施，以及定期进行漏洞检测和修复等方式，提高生成式人工智能的安全性能。

因此，模型治理作为算法治理的一种深化和扩展，在人工智能和机器学习在各领域的广泛应用趋势下，将变得越来越重要和必要。如简易版的模型治理对策流程：（1）数据采集——生成式人工智能司法需要准确的数据作为输入，因此在数据采集方面需建立严格的数据标准和评估机制，可通过采取错位学习、多元数据来源验证等方式，以确保数据的真实性和可靠性。（2）算法建模——在开发生成式人工智能司法算法模型时，应注重正义的重塑效应。如，避免算法偏见、公正性和透明度验证以及确保量化准确度等方面的因素，可以采用多元数据学习和定期数据验证等方式，避免生成式人工智能因样本偏见而带有偏见。（3）模型评估——生成式人工智能司法的算法模型需要经过严格的评估，以确保它们的正确性和可靠性。（4）模型监管——设置第三方独立审计、测试以及强制执行的制度安排，设计算法论证程序和问责程序。此外，治理的标准亦将从算法偏见最小化转向模型滥用最小化，从而试图建立集中化的备案和审查机制，加强算法的透明度，提升预测的准确度，对人工智能生成内容的可信度测验采取某种适当提前介入的方式等。

倪子涵｜三权分置路径下生成式人工智能企业数据合规新解

郑森｜论AIGC生成歌曲的著作权法规制

杨子安｜ChatGPT类人工智能生成物的刑法保护

唐绮柔｜人工智能生成物著作权问题研究

周劲黎｜人工智能生成内容的可版权性及默认权属分配——兼论判断作品独创性的选择概率标准

赵国庆｜论虚拟数字人技术下生成内容的著作权法规制

上海市法学会官网

http://www.sls.org.cn