论文记录
- 1. 3.3《基于区块链的联邦学习技术综述》
- 2. 3.4《Swarm Learning for decentralized and confidential clinical machine learning》
- 3. 3.8《Blockchained On-Device Federated Learning》
- 4. 3.11《FLchain: Federated Learning via MEC-enabled Blockchain Network》
- 5. 《BatchCrypt: Efficient Homomorphic Encryption for Cross-Silo Federated Learning》4.5
- 6. 《FLASHE: Additively Symmetric Homomorphic Encryption for Cross-Silo Federated Learning》4.6
- 7. 《Privacy-Preserving Deep Learning》4.15
- 8. 《Privacy-Preserving Deep Learning via Additively Homomorphic Encryption》4.19
- 9.《联邦学习》杨强 4.横向联邦 5.4
- 10《Practical Secure Aggregation for Privacy-Preserving Machine Learning》5.10
1. 3.3《基于区块链的联邦学习技术综述》
李凌霄, 袁莎, 金银玉. 基于区块链的联邦学习技术综述[J]. 计算机应用研究, 2021, 38(11):9. 1.
2. 3.4《Swarm Learning for decentralized and confidential clinical machine learning》
Warnat-Herresthal S , Schultze H , Shastry K L , et al. Swarm Learning for decentralized and confidential clinical machine learning[J]. Nature, 2021, 594(7862).
Q1：理论上解决FL中的中心集权、星型结构容错问题，实验对比的是单个节点和SL的表现；
Q2：Swarm网络的具体结构；
Q3：其他FL结合区块链的文章；
参考资料：
https://zhuanlan.zhihu.com/p/390643188
github代码：
https://github.com/schultzelab/swarm_learning
3. 3.8《Blockchained On-Device Federated Learning》
H Kim, Park J , Bennis M , et al. Blockchained On-Device Federated Learning[J]. IEEE Communications Letters, 2020, 24(6):1279-1283.
序言
1.首先介绍了中心式FL的局限性（以Google的vanilla为例）：
1）中心Server易受攻击
2）对参与方无激励机制
2.BLockFL采用区块链结构的两种改进
1）单点故障(区块链上数据无法篡改）
2）激励机制(data/miing)
技术内容
1.FL在BlockFL中
主要涉及参数含义以及vanilla中的损失函数的定义
2.BlockChain在BlockFL中
设备Di生成本地更新后给到对应的矿工Mi，Mi接收来自对应Di和其他矿工M的更新，验证后装入块，直到块满或者到Twait时间，块生成；
矿工开始代入nonce算哈希值直到满足<Target,新块生成，广播给其他的矿工，分别加入自己的账本ledger上。
(Pow机制)
用到区块链技术三部分：
1）块结构
2）块生成
3）块上链
3.一轮训练的过程
参考流程图（没有forking情况下的）
时延分析
第l epoch的时延包括computation、communication、block generation delays三方面–一个计算公式
最佳λ
实验结果图
总结
对vanilla FL进行去中心化的改进，采用Blockchain的结构，利用了BlockChain上数据不可篡改的优势，避免了对于中心Server的攻击；采用激励机制，鼓励FL的参与方参与，展望激励条件可以不仅仅是参与方提供的数据量，同时考虑数据质量。
问题
Q1：激励机制奖励给参与方的是什么？
Q2：有没有可以改进的部分–eg激励机制考虑both数据的数量和质量
4. 3.11《FLchain: Federated Learning via MEC-enabled Blockchain Network》
[1]FLchain: Federated Learning via MEC-enabled Blockchain Network[C]// 2019 20th Asia-Pacific Network Operations and Management Symposium (APNOMS). 0.
看了一点，涉及到Fabric和以太坊里的model state tire都是盲区。
5. 《BatchCrypt: Efficient Homomorphic Encryption for Cross-Silo Federated Learning》4.5
论文地址
https://www.usenix.org/conference/atc20/presentation/zhang-chengliang
总结
1）文章先介绍cross device，cross silo以及MPC、DP等隐私保护方法，得出HE比较适用于解决cross silo中对隐私保护的要求；
3）进行FL+HE的瓶颈分析，只要是加密和通信过程的开销问题；
4）Batching和Quantization的必要性，原量化和BatchCrypt量化的比较，BatchCrypt中用了补码，符号位可以进行计算；
BatchCrypt例如是8bit r=8，-1-1量化为-127-127，例如0.0079*127得到量化后的值为1（四舍五入）；
5）阈值剪裁，去掉不合适的阈值；
6）实验。
参考
参考1
参考2
问题
QBatching
6. 《FLASHE: Additively Symmetric Homomorphic Encryption for Cross-Silo Federated Learning》4.6
文章地址
总结
cross-silo FL中由于地理位置存在着大量的开销问题，batch encryption能有减少计算开销但通信仍是问题；
本文：
1）不用非对称密钥加密，只涉及随机数模加；
2）针对批量加密与稀疏化不兼容问题：设计根据是否稀疏化采用双/单掩码；
7. 《Privacy-Preserving Deep Learning》4.15
简短版文章链接
2015CCS完整版
参考
参考
总结
15年CCS会议，比FL概念提出的还要早，整体概念和FL差不多；
主要思想是文章通过参与方随机选择一部分本地的梯度上传到服务器，供其他参与方使用，保护了隐私，准确率高，一定程度防止过拟合；
本文：
1）DSSGD，如何上传梯度–两个标准；
2）有采用DP进一步保护上传的梯度；
8. 《Privacy-Preserving Deep Learning via Additively Homomorphic Encryption》4.19
参考
参考
总结
在DSSGD的基础上使用同态加密，解决了梯度泄露信息的问题，以及DP用准确性换隐私保护的问题；
仍存在的问题：
1）HE开销大；
2）学习率无法自适应调整的问题；
9.《联邦学习》杨强 4.横向联邦 5.4
Record
1）特征空间&样本空间；区分横向与纵向；
2）如何减少通信开销–减少CS之间的通信次数–参与方在空当多迭代几次加快收敛；
3）FL+HE中精度与隐私的平衡–用HE后损失函数被写成近似的形式；
4）《实战》中C3、C15 FL整个流程，没有涉及到传输；
Next
1)《PPDL+AHE》的代码；code
2）书中相关的参考文献；
10《Practical Secure Aggregation for Privacy-Preserving Machine Learning》5.10
2017 CCS
sum
在好几篇文章中都有看到对安全聚合的引用；
3介绍了用到的技术，包括密钥共享、密钥协商、数字签名等等、有了大致的了解；
4介绍了方案的发展过程，解决1的掉线-2的推原数据-3的双mask-本文安全聚合；
5安全聚合的具体流程图；
6，7，8安全评价等没仔细看；
9与相关方案对比，其中HE部分的参考文献可以看；
参考资料
1
2
！
1）了解了SS、KA等技术的大致流程，加mask和聚合抵消的操作，相关的基础知识有待补充；
2）协议保护FL隐私的方案；
