智慧教室是一种借助物联网、云计算和人工智能等技术构建起来的新型教室，包括有形的物理空间和无形的数字空间。通过设备间互联互通实现辅助教学内容呈现、学习资源便利获取、促进课堂交互，情境感知和环境管理等功能。
新东方AI研究院自研的智慧教室是一种专门面向企业，培训机构，校园的全方位的解决方案，形成了电脑终端、智能触控大屏、智能算法、实时反馈系统、后台智能管理等软硬件结合的智能化教学方式。
一、课堂教学监督
课堂教学监督作为教务管理重要的一环，对提高教师教学质量，促进教评管理，深化教育改革均有重要意义。尽管利用信息化手段改造传统课堂，很大程度能够改善教育供给，提高教育质量、突破教与学的时空限制，但同时也对智能教评管理提出了新的挑战：一是如何在不依赖人力成本情况下，实现课堂教学水平的鉴定；二是如何客观诊断教与学的效果，促进教学资源的优化整合；三是如何帮助教师认识教学规律，更新教学理念、全面促进素质教育。
基于以上问题分析，新东方AI研究院利用计算机视觉、自然语言处理、智能语音等技术结合具体的课堂场景，开发设计了“智能督课管理系统”解决方案。具体而言，首先业务端根据不同的课堂场景，给出可以量化的评价指标，例如，吐字是否清晰、有无粗俗言语、连续3分钟坐于课桌等。其中指标分为通用类型和专属类型，基于不同的应用场景算法可选择组合使用。算法端，输入为实时采集的课堂图片帧，利用视觉检测和判断规则给出相应的评分并给到后台统计。输入为语音信息时，可通过ASR实时监督上课行为，例如不文明词汇，讲课清晰度等。后台终端，把采集得到的信息按照场景和用户需求加工展示，提供服务。
依托于新东方多年教育行业经验和丰富的场景数据，有针对性地提出行为指标，并设计一系列通用性强的AI算法，方案在教师形象检测、师生关系判断、课堂行为规范及课堂言论评价等方面取得令人欣喜的结果，得到了教师和家长的一致肯定。如上图所示，算法通过采集得到的图像判断给出课堂的实时监测信息列表。详细的方案用例可参见新东方AI开放平台-教育行业人工智能服务平台OCR题库录排试卷批改。
二、课堂智能回放
智能补课回放在还原上课场景的前提下，使用计算机视觉、语音评测技术对授课的焦点做提取裁剪，帮助学生保持课堂集中力。此外，AI切课为智能讲解和作业课堂随练等应用场景提供API接口功能。
普通摄像头下的课堂回放通常受到摄像头、幕布、白板、投影仪设备以及光线条件影响，造成拍摄不清晰，极易出现回放虚像、拾音不完整等情况。尤其当课堂内容里有视频或者动态效果时，更容易图像失真，无法满足课堂回放的需求。方案中的板书姿态检测、教师行为检测和PPT识别是保证补课清晰度和流畅性的关键。其中板书检测有赖于计算机视觉对教师行为的识别，在识别到特定行为后自动触发智能处理模块，即将PPT播放时间点与教师板书行为进行分割、裁剪、聚焦，有效地保障了补课回放的效果。下图分别展示了普通录像下补课VS智能补课对比效果，以及有板书行为下的补课视频。
算法识别可分别获得课件PPT视频流和板书视频流，经后台重新加工合成后能够保证画面的清晰度，最大程度还原线上课堂。后端将课程管理系统与新东方蜻蜓补课小程序打通，允许学生在客户端上观看原班课程的视频回放，帮助老师家长检查学生学习情况。
三、人脸打卡考勤
人脸打卡机是智慧教室/校园场景的配套设备，方案采用了超清RGB摄像头+红外活体检测摄像头实时采集图像，适用NPU神经网络加速芯片，实现毫秒级检测、特征提取。在考勤的基础上，同步显示学员上课教室、时间等，生成考勤记录，提醒学生课程安排。
随着新冠疫情的爆发，公共卫生防护程度被提高到空前状态，为了平衡快速考勤和避免交叉感染，提出了一种基于高级语义特征的戴口罩人脸识别方案。首先根据语义特征提取粗粒度的人脸框区域位置，再利用此人脸框区域内的图像结合低语义特征去修正识别，节省时间提高准确性。在新东方分校的大量使用中，少年儿童的身份识别率几乎没有出过错，并且因算法和硬件系统都是自研的，整体成本低廉，可以有力地支持普惠教育事业。
四、 支持双师AI课
双师AI课堂是有效解决教育资源分配不均，提升教学效果的重要手段，AI赋能双师课堂更有赖于硬件、技术的规范化。通过优秀师资集中制作标准化AI课件，显著降低现场辅导教师的师训成本和教学人力成本，利用AI互动和答题器显著提升学生的参与感、现场互动学习效果和学生对学习的兴趣，牢牢地抓住孩子们的注意力，让课堂充满欢声笑语。基于智慧教室的AI盒子、拾音器、云台摄像头等设备实现了课堂中的互动答题、语音评测、随机选人和手势答题等教学功能。基于“智能视觉”、“语音识别”、“口语测评”和“OCR文字识别”等智能技术，AI课堂监控能通过不同维度的数据检测，生成教师和学生的教学及学习路径，对课堂情况进行量化分析。下面是新东方双师AI课堂的视频。详细的双师AI课堂解决方案参见链接：新东方AI开放平台
五、设备自动巡检
可靠的自动巡检方法能够很大程度减少运维成本，缩短响应时间。利用深度视觉检测和日志流程管理对大规模智慧教室进行自动设备检查，是实现自动化、智能化巡检的可靠方案。（1）摄像头巡检。摄像头位置自动调整是保证督课和录课的关键环节。考虑到课堂场景差异或其他必要情况的发生导致拍摄视角的偏移，摄像头在初次安装调试时会根据当前位置智能记录,此后每天都会根据记忆位置进行自动矫正。（2）边缘设备管理巡检。边缘设备作为智慧教室里的信息获取和云端上传的媒介，由于其规模庞大且相对独立，在发生故障时如果逐一去定位问题，无疑非常耗时耗力。方案基于端到端的方法，将边缘设备端的数据同步到服务端，把web开发引入到系统的流程管理中，从而能够直观的了解整个系统的运行状况，还可帮助系统快速问题定位和解决优化瓶颈问题
综上可见，新东方AI研究院自研的智慧教室有几大关键优势：
1. 教学管理闭环化：督课-补课-考勤三合一的解决方案，从课前、课中、课后全方位地服务教、学、评的教育管理，实现教师讲的优，学生学的好，教务评的准的闭环效果。同时，家长也可以通过APP查看学生学习情况和监督学校的教学质量。基于计算机视觉和智能语音测评的构建，允许智慧教室进一步布置智能硬件及功能扩展。
2. 安装运维成本低：硬件方面，仅需二个常规摄像头、采集卡、智能盒子、交换机和拾音器等，每间教室成本显著低于行业同类产品。算法方面，为了满足不同的课堂场景，自研的ASR具有较强的自适应性，在保证督课效果的同时极大地节约了运行成本，价格约是智能语音大厂报价的百分之一。利用摄像头自动巡检和边缘设备流程管理，极大地减少了运维成本，非常适用于大规模安装部署。
3. 可复用性强：摄像头部署通常可直接用之前的安防摄像头，仅需算法内部根据位置换算得到新的位置坐标即可。人脸打卡机及智能盒子亦可迁移应用于智能会议室，智能实验室等场景。
教育赋能，匠心前行，新东方AI研究院自研的智慧教室项目立足教育需求，创新研发，从硬件到算法形成了20多项专利。项目用到的人工智能算法都是新东方自主研发的，并且部分算法已达到了业内领先水平，为推动教育行业交流发展，新东方已把所有教育AI算法开放发布，为中国教育IT基础设施建设工作做出了新东方应该有的贡献， 欢迎访问和使用新东方AI开放平台- https://ai.xdf.cn/