导语：

　　随着社会系统和数据量的飞跃性增加，人工智能的工程系统越来越普遍与复杂，传统系统工程TSE（Traditional Systems Engineering）越来越难以应对，以模型化与定理化为代表的人工智能技术和人工智能软件工程学也在快速地发展。

　　与此同时，人工智能对传统计算机安全领域的研究也产生了重大影响，除了利用人工智能来构建各种恶意检测、攻击识别系统外，黑客也可能利用人工智能达到更快速与更精准的攻击。除此之外，在关键的人工智能应用场景上，人工智能自身的安全性变得前所未有的重要，极需要构建一个不会被外界干扰而影响判断的、可解释的、健壮的人工智能系统。随着量子计算时代的到来，信息系统的安全也将遇到前所未有的挑战。

　　本系列分6个部分概要说明从智能系统的安全要素，以及深兰科技在作为后量子时代的国家战略科技储备的超同态加密算法以及超同态加密计算芯片的研究与开发。

　　1. 智能系统的安全要素（点击回看）

　　2. 人工智能系统安全的课题与技术框架BWIN必赢

　　3. 数字货币与区块链

　　4. 量子计算BWIN必赢

　　5. 同态加密

　　6. 超同态加密

　　人工智能系统的

　　课题与技术框架

　　安全是典型的信息化军备竞赛，它通过抵御一系列已知和已发觉的威胁来保护系统和软件。由于可以通过创建漏洞，利用程序来绕过这些保护措施，促使了系统和软件企业不断提高这类技术。而AI可帮助终止这种恶性循环，它不仅可以应对现有的威胁，还可以应对尚未被发觉的新威胁，这就是AI与安全领域产生交集的地方。AI将从根本上改进所有的安全类解决方案。

　　AI巨大的潜能在改变着人类命运，但同样存在巨大的安全风险。这种安全风险存在的根本原因是：AI算法设计之初普遍未考虑相关的安全威胁，使得其判断结果容易被恶意攻击者影响，导致AI系统判断失误。在工业、医疗、交通、监控等关键领域，安全危害尤为巨大。如果AI系统被恶意攻击，轻则造成财产损失，重则威胁人身安全。

　　AI安全风险不仅仅存在于理论分析，并且真实地存在于目前各种AI应用中。在现在和未来将被用于的很多关键领域中，我们创造了很多强大的技术。以安全为中心的设计思维不仅在研发和部署的时候，更在AI被大规模应用的时候，有着极为重要的影响。当算法被不可逆地整合到重要的系统中时，如果没有严谨与完整的设计，系统就无法有效地处理其中存在的问题。

　　AI系统在设计上面临5大安全挑战：

　　1. 软硬件安全：在软件及硬件层面（应用、模型、平台、芯片、编码等的漏洞或后门）攻击者能够利用这些漏洞或后门实施高级攻击。在AI模型层面上，攻击者同样可能在模型中植入后门并实施高级攻击。如果AI模型的可解释性较差，在模型中植入的恶意后门难以被检测。

　　2. 数据完整性：在数据层面，攻击者能够在训练阶段掺入恶意或虚假的数据，降低AI模型推理能力；攻击者同样可以在判断阶段对要判断的样本加入少量噪音（对抗样本）来改变判断结果。

　　3. 模型保密性：在模型参数层面，通过多次查询，攻击者能够构建出一个相似的模型，进而破译模型。

　　4. 模型鲁棒性：训练模型时的样本往往覆盖性不足，使得模型鲁棒性不强（缺乏必要的功能安全）；模型面对恶意样本时，无法给出正确的判断结果。

　　5. 数据隐私：在用户提供训练数据的场景下，攻击者能够通过反复查询预测模型并推算出隐私信息。

　　现在我们尽量通过详尽与周全的设计与思考，避免了类似问题和弱点的出现，并希望能够构建起解决安全课题的有效技术框架，在设计和研发系统时有效地避免安全问题。希望未来的系统不仅仅是“看起来很安全”，更是具有鲁棒性与基于可解释人工智能（XAI）可验证性的安全。

　　未完待续

　　作者：沙文灏

　　深兰科技首席数据科学家

　　战略委员会战略技术专家

　　深兰科学院智能社会研究院院长

　　在人工智能领域基于丰富的系统实践编著了《数字化战略导论》、《人工智能实践方法论》、《构建大规模IoT系统的方法论》，并参与了上海市的十四·五人工智能产业规划的制定BWIN必赢在线登录入口。

　　曾经担任欧洲最大咨询机构源讯(AtoS)大中国区首席&业务总监、日本前3位著名战略咨询公司CDI日本总部全球首席，在咨询领域具有33年以上丰富经验，拥有高于95%的项目成功率。曾任日本外务省(JICA)专家、日本电气学会信息化委员会委员，在日本出版了两本信息化专著和教材。