联邦学习(FederatedLearning)本质是一种分布式机器学习框架,其做到了在保障数据隐私安全及合法合规的基础上,实现数据共享,共同建模。
联邦学习(FederatedLearning)本质是一种分布式机器学习框架,其做到了在保障数据隐私安全及合法合规的基础上,实现数据共享,共同建模。它的核心思想是在多个数据源共同参与模型训练时,不需要进行原始数据流转的前提下,仅通过交互模型中间参数进行模型联合训练,原始数据可以不出本地。这种方式实现数据隐私保护和数据共享分析的平衡,即“数据可用不可见”的数据应用模式。
随着信息化社会的发展,各行业积累了大量的数据,这些数据掌握在不同的实体中,受技术、安全和监管等的限制,无法有效的分享融合,形成一个个独立的数据孤岛;而互联网和移动互联网时代的发展,加速了数据的碎片化。数据里面蕴含着重要模式(Pattern),如人类生物特征、喜好、金融信用等等。
通过机器学习技术可以挖掘数据中蕴藏的这些模式,这些经过大量数据训练出来的机器学习模型已经应用在各行各业,例如医疗行业的临床辅助诊断、新药物研发、精准医疗;安全行业的人像识别、声纹识别等等。在这些应用中,模型的精度至关重要,而模型的精度核心依靠训练数据,只有经过大量数据的训练,才可能获得好模型。
另一方面,由于法律政策监管、数据隐私安全等方面的顾虑,各数据所有者也不愿直接交换原始数据,导致数据无法有效汇聚,从而影响机器学习的效果,制约着AI模型的提高。联邦学习正是为了解决这一两难情况而出现的高效技术解决方案。
传统的机器学习需要将数据汇聚到中心后才可以进行模型训练。在此过程中需要转移存储原始数据,随着数据量的增加欧博体育,相对的成本也呈指数级增加;同时,在数据出域后,数据将变得不可控,从而导致数据隐私泄露,埋下数据安全隐患。图1给出了传统机器学习和联邦学习的对比。联邦学习技术,可以实现多个机构间构建统一的数据安全、高效、合规的多源数据应用生态系统,实现跨机构的数据共享融合,通过系统扩大样本量、增加数据维度为大数据应用提供高精度模型构建的有力支撑,进而提供更丰富、高质量的大数据服务,为社会发展创造更多价值。
互联互通社区-IT智库,是互联互通社区IT架构、前沿技术平台。包含 科技趋势、总体架构、产业架构、技术架构、系统架构、业务架构 等内容, 内容简练,皆属干货 ,合作请+微信:hulianhutongshequ.欧博体育官方网站
Copyright © 2012-2023 ABG欧博·体育(中国)官方网站-登录入口 版权所有