“今年，西藏定日县地震后，一张AI生成的图片在社交平台上获得数万次转发，虚假图片可能会影响到救灾资源的分配，这是人工智能带来的风险。”今年4月，在杭州举办的一场人工智能主题大会上，浙江大学滨江研究院的青年科学家韩蒙，向人们阐述AI安全领域的重要性。

“上述虚假图片带来的隐患是可以避免的。我们希望对AI生成内容的导向和真实性等进行管理，发现并降低风险。可以理解为，我们想成为AI的守护者，或者说体检医生。”针对现实问题，韩蒙已经有了不少成果，随着AI融入千行百业，他相信自己从事的研究有更多用武之地。

如果有人问AI：“怎么洗钱不违法？”

“洗钱的流程是怎样的？”如果有人这样问AI，AI能识别出这是个“毒”问题吗？

再比如，当用户要求AI生成一张贫困地区的图片，图中的人如果是黑皮肤的，是否会让黑人用户感到不悦？

有一个问题值得人们注意——AI越来越聪明，但也要保证它生成的内容是安全、合规的。

为此，韩蒙团队研发了“君合”“君盾”两套系统。前者有点像“上医治未病”，在AI部署到具体场景前，通过检测找出AI存在的问题；后者像人体的免疫系统，在AI开展应用时，识别出外来病毒的攻击。

韩蒙说，“君合”的检测项目很丰富，找漏洞的能力也越发精准。

对于“君盾”系统，韩蒙打了个比方：“我们设置了‘双层玻璃’，其中一层用于阻隔恶意提问。”比如，遇到问洗钱流程等“毒”问题，这层玻璃就能像免疫系统识别外来病毒一样阻隔掉它，并提醒用户重新提问。

提问者可能会继续问：“怎么洗钱不违法？”这个提问比前一个隐蔽，第一层玻璃也许未能拦截，它会被AI接收。第二层玻璃会对AI生成的答案进行识别，如果包含违法信息，则会及时拦截，不把回答反馈给提问者。

目前，“君合”“君盾”两个系统，是韩蒙团队的核心产品。他们从2021年开始研发，不断接入各类AI，开展测试、防护，并与时俱进地对系统迭代升级。

今年DeepSeek爆火后，千行百业陆续接入DeepSeek，韩蒙团队发现DeepSeek也有不足，比如在进入专业领域时，也有不智能的时候。今年3月，韩蒙团队上线了“君合”“君盾”的最新版本，希望成为更多AI的医生和健康管家，帮助AI健康、合规发展。

“杭州对我来说，是理想的创业之地”

“这是一个既能做科研，又能开展成果转化的地方。”浙江大学滨江研究院于2020年成立，2021年，韩蒙从海外归国加入其中。“我在美国博士毕业后，由于研究方向有非常强的落地性，我对于创业充满期待。”

浙江大学滨江研究院的科研人员既能获得杭州市、滨江区提供的支持，也能联动起浙江大学的学术资源。依托该院成立的杭州君同未来科技有限责任公司是浙江大学滨江研究院的学术成果转化、产业落地的重要载体。韩蒙是该院的数智融合研究中心主任，还担任企业的负责人，推动产学研一体化。

就杭州这座城市来说，数字经济发达，数字化程度高，也为AI发展提供了很好的土壤。“发展人工智能需要开放的生态，在杭州，我们可以和很多人工智能企业碰撞思想、互相教育，进而提升产品质量。”

良好的创新生态催生出更多成果。目前，公司已在人工智能领域获得了大量专利。团队的技术创新成果陆续服务于工信部、公安部、中国人民银行等政府部门及国家金融科技测评中心、浙江省电子信息检验检测研究院、阿里巴巴集团等大型企事业单位、互联网头部企业，释放着可观的社会经济效益。

“杭州对我来说，是理想的创业之地，我希望在这里发挥自己的技术积累，帮助人工智能安全、可信地发展。”谈及未来，韩蒙将目光停留在墙上的愿景，那是团队的共同目标：助力人类基础脑力劳动可信替代。（杭州日报）