隐私保护问题在当今机器学习领域日益受到关注,构建具备数据安全保障的机器学习服务系统变得越来越重要.与此同时,以英特尔SGX为代表的可信执行环境技术得到了日益广泛的使用来开发可信应用和系统.SGX为开发者提供了基于硬件的名为飞地的安全容器来保障应用程序的机密性和完整性.本文基于SGX提出了一种面向机器学习推理的安全服务系统S3ML.S3ML将机器学习模型运行在SGX飞地中以保护用户隐私.为了构建一个实用的基于SGX的安全服务系统,S3ML解决了来自两方面的挑战.首先,机器学习推理服务为了保证高可用性和可扩展性,通常包含多个后端模型服务器实例.当这些实例在SGX飞地内运行时,需要新的系统架构和协议来同步证书及密钥,以构建安全的分布式飞地集群.S3ML设计了基于SGX认证机制的飞地配置服务,来专门负责在客户端和模型服务器实例之间生成、持久化和分发证书及密钥.这样S3ML可以复用现有的基础设施来对服务进行透明的负载均衡和故障转移,以确保服务的高可用性和可扩展性.其次,SGX飞地运行在一个名为飞地页面缓存(EPC)的特殊内存区域,该区域的大小有限,由主机上的所有SGX飞地竞争,运行在飞地中应用的性能因此易受到干扰.为了满足机器学习推理服务的服务级别目标,一方面S3ML使用轻量级的机器学习框架和模型来构建模型服务器以减少EPC消耗.另一方面,通过实验发现了使用EPC页交换吞吐量作为保障服务级别目标的间接监控指标是可行的.基于该发现,S3ML提出基于EPC页交换强度来控制服务的负载均衡和水平扩展活动.基于Kubernetes、TensorFlow Lite和Occlum实现了S3ML,并在一系列模型上进行实验,对S3ML的系统开销、可行性和有效性进行了评估.

机器学习推理;服务系统;SGX;可信计算;隐私保护

马俊明;吴秉哲;余超凡;周爱辉;巫锡斌;陈向群

北京大学软件与微电子学院,北京102600;高可信软件技术教育部重点实验室(北京大学),北京100871;北京大学信息科学技术学院,北京100871;蚂蚁集团,浙江杭州310013

软件学报

[1]马俊明;吴秉哲;余超凡;周爱辉;巫锡斌;陈向群-.S3ML:一种安全的机器学习推理服务系统)[J].软件学报,2022(09):3312-3330

S3ML,Occlum

机器学习推理,服务系统,隐私保护,保护问题,学习领域,数据安全保障,习服,英特尔,SGX,可信执行环境,益广,开发者,飞地,应用程序,机密性,安全服务,机器学习模型,用户隐私,高可用性,可扩展性,后端,服务器,系统架构,证书及,密钥,建安,客户端,持久化,发证,复用,负载均衡,一个名,页面,缓存,EPC,主机,轻量级,构建模型,吞吐量,监控指标,交换强度,制服,Kubernetes,TensorFlow,Lite,开销,可信计算

0.281757