软件学报

作者：马俊明，吴秉哲，余超凡，周爱辉，巫锡斌，陈向群

单位：马俊明，北京大学 软件与微电子学院, 北京 102600;高可信软件技术教育部重点实验室(北京大学), 北京 10087111,吴秉哲，北京大学 信息科学技术学院, 北京 10087102,余超凡，蚂蚁集团, 浙江 杭州 31001303,周爱辉，蚂蚁集团, 浙江 杭州 31001304,巫锡斌，蚂蚁集团, 浙江 杭州 31001305,陈向群，北京大学 软件与微电子学院, 北京 102600;北京大学 信息科学技术学院, 北京 100871;高可信软件技术教育部重点实验室(北京大学), 北京 10087106

关键词：机器学习推理;服务系统;SGX;可信计算;隐私保护

基金：国家重点研发计划(2017YFE0123600)

隐私保护问题在当今机器学习领域日益受到关注, 构建具备数据安全保障的机器学习服务系统变得越来越重要. 与此同时, 以英特尔SGX为代表的可信执行环境技术得到了日益广泛的使用来开发可信应用和系统. SGX为开发者提供了基于硬件的名为飞地的安全容器来保障应用程序的机密性和完整性. 本文基于SGX提出了一种面向机器学习推理的安全服务系统S3ML. S3ML将机器学习模型运行在SGX飞地中以保护用户隐私. 为了构建一个实用的基于SGX的安全服务系统, S3ML解决了来自两方面的挑战. 首先, 机器学习推理服务为了保证高可用性和可扩展性, 通常包含多个后端模型服务器实例. 当这些实例在SGX飞地内运行时, 需要新的系统架构和协议来同步证书及密钥, 以构建安全的分布式飞地集群. S3ML设计了基于SGX认证机制的飞地配置服务, 来专门负责在客户端和模型服务器实例之间生成、持久化和分发证书及密钥. 这样S3ML可以复用现有的基础设施来对服务进行透明的负载均衡和故障转移, 以确保服务的高可用性和可扩展性. 其次, SGX飞地运行在一个名为飞地页面缓存(EPC)的特殊内存区域, 该区域的大小有限, 由主机上的所有SGX飞地竞争, 运行在飞地中应用的性能因此易受到干扰. 为了满足机器学习推理服务的服务级别目标, 一方面S3ML使用轻量级的机器学习框架和模型来构建模型服务器以减少EPC消耗. 另一方面, 通过实验发现了使用EPC页交换吞吐量作为保障服务级别目标的间接监控指标是可行的. 基于该发现, S3ML提出基于EPC页交换强度来控制服务的负载均衡和水平扩展活动. 基于Kubernetes、TensorFlow Lite和Occlum实现了S3ML, 并在一系列模型上进行实验, 对S3ML的系统开销、可行性和有效性进行了评估.

来源：2022年第9期

《软件学报》期刊编辑部

查看软件学报杂志2022年第9期