联邦学习开源框架FATE LTS版本发布,全新客户端套件助力高效开发

 CRM软件   2020-11-22 11:53   88 人阅读  0 条评论

原标题:联邦学习开源框架FATE LTS版本发布,全新客户端套件助力高效开发

注:微信公众号不按照时间排序,请关注“亨利笔记”,并加星标以置顶,以免错过更新。

我们 VMware 云原生实验室的团队在参与联邦学习领域的开源项目 FATE 和 KubeFATE 的贡献,帮助用户应对 连接数据孤岛、打破部门墙的挑战,即解决人工智能的最后一公里 的问题。 本文转发自 FATE开源社区公众号。

企业发展到一定阶段,各事业部之间的数据往往都各自存储,各自定义。每个事业部的数据就像一个个孤岛一样,无法进行连接互动。又或者不同机构组织间,受隐私保护条例法律的约束,无法进行关联交互,这样的情况称为“数据孤岛”。

为了连接不同组织机构间的数据,使数据得到更大的应用价值,微众银行人工智能部提出了基于“联邦学习”的系统性的通用解决方案,并在2019年开源了全球首个工业级开源框架——FATE。

经历了近两年的沉淀,FATE在近期发布了首个长效稳定版本v1.5(下称LTS)。这两年期间,FATE在开源仓库GitHub上,FATE团队累计合入提交代码7600+次,根据调研需求完成上百项不同用户场景的功能新增与迭代。通过开源社区大量不同行业领域的用户,不同应用场景的生产环境反馈积累,FATE得到了全面的完善提升。

据官方团队介绍,此次版本规划将会持续维护两年以上,为商业化应用提供稳定基础,未来将持续探索多方联合建模,数据应用的更多可能性。同时经历过系统框架层重构后,不仅在性能表现上有长足的进步,1.5LTS版本还具备优秀的灵活扩展性,用户可以便捷按需取用不同模块,进行二次开发。

以下为FATE v1.5 LTS版本

各模块的详细介绍

FederatedML

性能再翻番,覆盖更全面的联邦算法,提升工业实用性

作为长效版本,我们吸取了来自众多行业的社区用户生产经验,为了兼顾不同领域的场景,我们加入了更多的算法、协议等,如新增纵向联邦FastSecureBoost、纵向联邦SecureBoost的complete secure机制、DataStatistic、纵向KMeans、评分卡,以及Oblivious Transfer协议和RandomIterativeAffine同态加密协议。

除此以外,针对已有算法进行升级与优化,如纵向FTL的全新重构,使得性能比上一版本呈指数级的提升;纵向联邦 SecureBoost 直方图统计过程使用矩阵运算对高维稀疏数据优化;纵向联邦 SecureBoost 预测性能优化,预测交互次数降低为树最大深度,在100 颗树下能达到32倍的性能提升;纵向特征选择全新升级,增加 SecureBoost 特征重要度&特征PSI指标过滤器;纵向联邦特征分箱计算逻辑优化,性能提升30%-50%;纵向GLM计算逻辑优化,性能提升10%+。更多的提升体验,欢迎前往github.com/FederatedAI获取体验。

FATE-Flow

易扩展,高可用

FATE-Flow是联邦学习框架FATE的作业调度系统,实现联邦学习作业生命周期的完整管理,其中包括数据输入、训练作业调度、指标追踪、模型中心等功能。

此次版本更新,核心的调度能力升级,支持组件多输出、组件任务并行和组件任务重跑;资源调度能力升级,依据不同计算引擎,支持调整核数、内存、工作节点数粒度。除此以外,还新增了DSL v2、模型注册中心,以及适配各种数据源的数据读取组件,大大地提升了易用性。

FATE-Client

全新的fate调用方式

FATE-Client包括Pipeline、Flow CLI v2和Flow SDK,通过发布pypi包的形式,用户通过pip指令可以直接安装和使用,这个fate 第一次提供这样的调用方式,简化用户使用pipeline或者fate cli指令的流程。

FATE-Test

自动化、自动化、自动化,重要的事情说三遍

FATE-Test模块是fate-1.5版本的新特色,目前提供全面回归fate算法库所有功能,以及常用的建模算法中心化训练与FATE联邦训练的正确性对比,及算子调用和传输时间统计。

将来,FATE-Test模块会集成更多新的功能,比如大数据压力测试、多任务并发等等,自动化测试是未来的终极目标。

FATE-Board

数据与交互解耦,效率与流畅度提升

FATEBoard是联邦学习建模的可视化工具,旨在帮助用户简单而高效地理解模型与探索模型,从而更有效地调试和改善模型效果。

这次丰富的更新,提供更多新增算法模型的可视化,并提升已有算法模型的可视化,同时图形界面的可操作空间也有提升,如任务重试以及从FATEBoard下载算法组件的模型和数据等。

以上为FATE各个模块的详细介绍。此次更新,FATE系统整体的结构弹性化是一重要的优化。全新的架构,支持了不同的计算、存储、传输引擎结合,以及新增的Spark、HDFS、RabbitMQ引擎,新增的数据表管理功能,储存引擎统一的API,都在帮助不同行业领域用户,按需取用FATE不同的功能模块。

据介绍,新增的能力有许多是来自于开源社区中的体验反馈,也因为不断反馈到不断实现的正循环,FATE开源社区已经壮大至超过500家企业与220所高校等科研机构的开发团队参与共建。

这次FATE LTS的版本,除了总结这近千个合作伙伴的业务场景经验,给予稳定工业生产的版本更新以外。团队将会挖掘未来商业化的可能性,如近期开源的联邦学习云服务——FATE Cloud,该模块使FATE可实现多云管理,形成了一种安全的联邦数据网络。旨在为跨机构间、机构内部不同组织间提供安全可靠、合规的数据合作网络构建解决方案,提供企业级的联邦学习生产力应用解决方案。开源仓库位于GitHub/FederatedAI/FATE-Cloud,欢迎前往获取。

对用户关注的联邦学习平台运维管理,可以使用 KubeFATE 项目的云原生解决方案。更多细节将在后续文章中介绍,敬请关注。

详情可查阅 FATE / KubeFATE 官网项目文档:

https://fate.fedai.org/contribute/

https://github.com/FederatedAI/KubeFATE

知乎:FedAI联邦学习

CSDN:FedAI Ecosystem

bilibili:FedAI联邦学习

要想了解云原生、区块链和人工智能等技术原理,请立即长按以下二维码,关注本公众号亨利笔记 ( henglibiji ) ,以免错过更新。。

CRM软件收集

本站声明:本文内容来源于联邦学习开源框架FATE LTS版本发布,全新客户端套件助力高效开发,如有侵权,请联系我们,我们将及时处理。

本文地址:https://www.crmbbs.com/post/5705.html
版权声明:本文为原创文章,版权归 CRM软件 所有,欢迎分享本文,转载请保留出处!

评论已关闭!