Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

寓扬、茜茜作者四月编辑

开学季摄像头潜入课堂,AI商业化后的隐私黑盒能关得住吗?

在 C 端用户质疑其存在的隐私与伦理问题同时,计算机视觉方案落地线下教育场景的真实应用现状到底如何,教育市场的需求存量有多少,课堂学生状态监控方案落地后将带来哪些社会问题?这些问题亟待调查与解答。


撰文 | 寓扬、茜茜

编辑 | 四月

九月伊始,又是一年开学季,和学生一同走进课堂的还有摄像头和人工智能。
近日,一组课堂上学生行为分析的视频截图在微博引发热议。照片中,摄像头通过计算机视觉算法获取两名学生的课堂表现,并以标签的形式计算出「听讲、阅读、举手,趴桌子、玩手机、睡觉」等动作次数。截图显示该技术方案来自旷视科技。

讨论区,网友对人工智能「监视」课堂行为所带来的隐私、伦理价值问题的声讨不断。有网友表示,「希望有人来解释一下课堂监控 AI 产品的合法性,尤其是人权和隐私权等权利的保护。」
机器之心向旷视科技求证该方案目前的应用情况,旷视科技方面表示,该图片为技术场景化概念演示。旷视在教育领域的产品主要专注于保护孩子在校园的安全,同时也将坚持正当性、数据隐私保护等核心原则,接受社会的广泛建议和监督。
事实上,据机器之心了解,目前视觉方案在课堂教育场景的应用已经不是新鲜事,摄像头生产厂商、教育巨头、AI 技术公司三大类数十家企业。
在 C 端用户质疑其存在的隐私与伦理问题同时,计算机视觉方案落地线下教育场景的真实应用现状到底如何,教育市场的需求存量有多少,课堂学生状态监控方案落地后将带来哪些社会问题?这些问题亟待调查与解答。

1  智慧课堂是一块什么样的市场?

据机器之心了解,旷视关于智慧课堂的解决方案在 2018 年的中国教育装备展上就已经亮相。当时,结合校园场景的需求,与自身在人脸识别、行为识别、表情识别等方面的 AI 技术,旷视就推出了智慧教育解决方案。

在教学场景,旷视重点打造的是课堂智能考勤系统和教学评价系统。其中,考勤系统基于旷视的考勤摄像机,巡航拍摄教室并自动变焦拍摄人脸,再配合旷视的考勤主机盒子,以人脸识别验证的方式对上课学生进行身份核实。
而本次备受争议的则是课堂教学评价系统。旷视的大致做法是,通过其考勤及行为分析摄像机 MegEye-C3V-920 获取人脸、行为以及表情等数据,通过行为分析服务器对课堂视频数据进行结构化分析,并反馈学生的行为、表情、专注度等数据,辅助教学评估。
旷视科技告诉机器之心,目前旷视在智慧校园中主要提供门禁系统,比如应用在教室、宿舍中的门禁系统,学生可以刷脸通过,并且这些系统是离线部署在学校,旷视只提供技术支持。
针对网上流出的课堂行为分析图片,对方称,「这张图源于旷视一次小规模线下活动的 Demo 展示照片,目前还停留在技术展示阶段,并没有落地应用。」
不只是旷视,BAT、科大讯飞、好未来以及多家创业公司在近两年均围绕课堂场景推出了相关的视觉解决方案,这些玩家大体可以分为三类,分别是:设备厂商(摄像头生产商),教育公司和 AI 技术公司。
比如,一位该领域的技术方案提供商向机器之心表示,一般教学分析系统需要 800 万像素左右的摄像头对教室进行拍摄,典型情况下可以覆盖一个 40 人的课堂。
系统会先对每个人进行人脸跟踪,跟踪每个人的位置,然后把每个 ID 单独存储为序列数据,即一系列的图片。随后,在学校部署的工作站会使用深度学习模型进行「情感计算 」,对学生们的肢体、头部、视线等动作完成分析,得到一系列数值。
服务器会把这些值打包发到发到云端,加载更加抽象的模型进行二次分析,最终输出整堂课的活跃度和专注度互动度等指标。在机器学习领域,检测专注度姿态的方式通过行为检测技术来完成。

2  AI 摄像头陆续潜入课堂

从应用端来看,尽管课堂监测方案存在一定争议,但不少学校的智慧课堂应用已经落地,以此进行系统化的学生管理,提升教学质量。
近日,位于江苏南京的中国药科大学,在两间教室「试水」安装了人脸识别系统,用于日常考勤和课堂纪律管理。学生是否认真听讲,课堂上是否抬头低头,抬头低头了几次,抬头低头了多长时间,低头是否在玩手机,是否闭眼打瞌睡,都逃不过人脸识别系统的「法眼」。
报道称,此举意在减少学生的逃课行为,严肃课堂纪律。当问及在教室安装人脸识别系统是否侵犯学生隐私时,该负责人称,学校之前已向公安部门和法务部门咨询,由于教室属于公开场所,因此不存在「侵犯隐私」的说法。

浙江省杭州第十一中学也在去年 3 月份引入了一套类似系统,该校率先在高一的两个班级试运行智慧课堂,通过在教室安装 3 个组合摄像头来实现无感刷脸考勤。同时通过摄像头,还可对课堂上学生的行为进行统计分析,并对异常行为实时反馈。
据新京报缓引杭州第十一中学负责人介绍,传统意义上的口头点名和刷卡在实行过程中都有弊端,如口头点名耗时太长,由于省内教学实行走班制,即每个学生每次上课所在的教室都不同,每位老师每节课所面对的学生也不同,使用刷脸考勤可以简化考核制度。
至于课堂行为分析,校方称,系统每隔 30 秒会进行一次扫描,针对学生们阅读、举手、书写、起立、听讲、趴桌子等 6 种行为,再结合面部表情是高兴、伤心,还是愤怒、反感,分析出学生们在课堂上的状态,用以教师的教学反馈。但校方也表示,课堂学生行为统计分析属附加功能,「现在应该说连 (考评) 参考都谈不上」。
上个月,上海中医药大学附属闵行蔷薇小学也被爆出正在构建智能课堂行为分析系统,运用如姿态评估、表情识别、语言识别、教师轨迹热力分析等技术,探索对课堂教学过程的定量分析。
可以看出,智慧课堂的应用主要满足两方面需求,一个是全校教学管理,另一个则是教学评估。各家智慧课堂的进展尚属初级阶段,人脸签到、课堂状态监测是主要应用领域,至于服务与教学的课堂行为分析,仍处于试水阶段。
但一位从业者也称,「学生课堂行为分析,从技术层面讲,已经可以实现商用。」
据前瞻产业研究院数据显示,2018年我国智慧教室硬件设备市场规模将达到4741.32亿元左右,到2023年整个市场规模将达到8827.38亿元。 这无疑为设备的AI化提供了广阔的市场空间。

3  技术背后的隐患有多大

大抵让网友引发热议的,是智慧课堂行为分析可能引发的隐私问题,AI 到底是保障学生安全还是「全景敞视监狱」?
一位业内人士结合从业经历分享道,智慧课堂类的教育方案往往采用本地离线部署,数据是掌握在校方手中的,技术公司只是提供技术,其实并不掌握数据。
在数据分析环节,摄像头采集到的数据(人脸、动作、表情)会在校内的本地服务器上处理,然后把脱敏后的数据上传到云端进一步分析。
换句话说,上传到云端的只是结构化的数据,比如情感和行动,给到云端供进一步分析的「情感」不是学生的照片,而是他/她在某个时间点上存在某种情感的概率;「动作」也不是照片,而是他/她出现某种行为概率(一串数值)。
此外,他也称学校会跟家长签署数据授权协议,并对学校工作人员设定不同的使用权限,从而保护学生隐私。
「如果 AI 系统的初衷是帮助老师去管理学生纪律,这实际上是有问题的。」该业内人士称,「但如果我们以帮助老师提升教学水平、个性化提升每个学生学习水平的理解进行开发,就会获得很好的结果。」
近期欧盟一起由使用视觉技术引发的隐私处罚值得思考。
在瑞典谢莱夫特奥市,所有教师每年要花约 1.7 万个小时来对学生进行点名以及追踪学生活动。为了改善这一状况,市政府准许个别学校进行试验,使用人脸识别技术统计学生出勤情况。
然而即使是在这种情况下,一所高中因试验用人脸识别系统统计学生出勤率,而被瑞典数据监管机构处以 20 万瑞典克朗(约合 145 万元人民币)的罚款。
虽然学校称,他们事先获得了学生和家长的同意,但瑞典数据监管机构指出,鉴于数据的持有者及数据的管理者之间,存在明显的信息不对称,因此校方和家长的协议不能构成有效的法律依据。
瑞典数据监管机构还称,虽然学校的某些场合可以被视为「公开场合」,但学生何时进入教室,依旧是个人隐私。

从我国AI落地情况来看,各家智慧课堂的进展尚属初级阶段,人脸签到、课堂状态监测是主要应用领域,至于服务与教学的课堂行为分析仍处于试水阶段,而这背后的隐患虽然通过技术手段解决了一部分,但对于C端消费者和法律角度而言仍然存在较大的质疑与反对。
产业人脸识别计算机视觉人工智能
2
人类被机器豢养
机器更多进入社会生活是不可避免的,抵触没有用,如何完善产业链的规范,制定相关标准规则才是应该首要思考的问题。