Tapdata 实时数据中台在智慧教育中的实践

article/2025/3/18 11:30:33

摘要:随着教育信息化的推进,智慧校园建设兴起,但在实施过程中面临数据孤岛、应用繁多、数据再利用等方面挑战,而 Tapdata
的实时数据中台解决方案,能够高效地解决智慧校园实施中的基础数据问题。

教育行业信息化工作已经实施多年,南京秦淮区教委在这方面走在前列,并进行了大量尝试。
2018年4月教育部颁布了《教育信息化2.0行动计划》,随着AI人工智能,大数据,移动互联网兴起,在之前教育信息化实施的基础上,秦淮教委根据南京市创建智慧校园的要求,率先进行智慧教育的尝试,释放教育系统的生产力,并为教育创新提供了巨大的空间。

秦淮教委在逐步推进智慧校园的时候,无可避免地遇到了一些挑战,而Tapdata的实时数据中台解决方案,及时而恰当地帮助他们克服困难,解决了实施中的基础数据问题,并推动智慧校园能够实时、快捷、灵活地落地实践。

那么,

  • 智慧教育实施过程中的痛点和挑战是什么?
  • Tapdata实时数据中台是什么?如何解决上述问题?

智慧教育实施过程中的痛点和挑战

秦淮区教师发展中心是区智慧校园的整体架构和推动者,承担设计、组织和管理工作。依照南京市智慧校园的创建标准,秦淮区的智慧校园架构如下图
在这里插入图片描述

智慧校园创建的底层要求

从上面的架构图中,可以看到设计者的思路:

  • 覆盖宽广,包含区级、校级和个人层面的教育对象、资源、环境、工具和管理等统一认证和识别;
  • 高度整合,各个应用之间虽然相对独立,但又相互关联;
  • 开放生态,校级可以自行发起新应用,并在区全局推广,各应用互为补充,自由增、删、组合,形成生态系统;
  • 方便快捷,快速部署和落地新应用,为教育创新提供支持。

教育信息化的现状和特点

一方面,架构反应出智慧校园创建中,一些非常贴合实际的诉求。另一方面,通过多年积累,秦淮教委有着自己的基础特征。

  1. 扎实的基础设施和人员应用能力
    有线无线,高速宽带遍布各个校园;
    教师,学生、家长在电脑和移动终端的普及应用;

  2. 大量的基础数据积累
    学籍管理系统包含了大量的学生信息;
    校园各自建立的OA办公系统积累许多学校管理信息;
    各种FTP服务器沉积了各类Excel、CSV等教学教研信息。

  3. 众多应用随之而生

区教育系统平台一览表
在这里插入图片描述

面临的挑战和痛点

至此,从上述分析中我们可以看到,基于当前教育信息化的现状和特点,要实现智慧校园的底层要求,秦淮教委在这一轮智慧教育的实践中,无可避免地遇到一些痛点和挑战。

  • 应用繁多,各类应用平台自成一体,有着各自的用户管理系统和数据库。
  • 数据孤岛,各个应用在教育业务层面上相关,但数据各自独立, 很难使这些数据联合起来发挥作用。
  • 整合能力弱,应用开发商整合能力弱,原来的数据结构无法适应教育发展的新需求。
  • 数据再利用,历史数据并入智慧校园架构困难,有的已经无法找到原供应商提供支持。
  • 规模效应,辖区内各个学校早期独立使用的应用,在数据上无法形成规模效应。

上述情况,举两个例子说明。

一是基础数据的集合和统一。区属教师的基础信息在科大讯飞的教育信息系统中。在微研的教师发展平台系统中也包含有部分字段的教师基础信息,同时还有辅导、论文和课题等信息。人脸识别一卡通数据又在腾讯的企业号系统中。这样产生了一个让人头疼的问题,就是在维护基础信息的时候,需要在多个应用中不停地切换,更新多个库的信息,非常的困难,效率低下。

二是各类数据的联合应用。2018年秦淮教委开始了一个”AI智慧课堂”的项目,通过在课堂架设录像设备,采集教师和学生上课时的行为并进行分析。例如通过采集学生在上课时,趴桌子、看手机、听讲、书写、发言、阅读,以及教师的板书、互动等行为,并分析得到每个学生上课时的专注度指数。半年多实施后,通过与班主任的交流发现多数学生情况还是符合的,但是也出现有学生专注度指数高,但考试成绩不理想,以及学生专注度指数很低,但考试成绩很好的两类特殊情况。而”AI智慧课堂”的应用如果能和每个学生的作业数据、考试数据、阅读习惯数据、社团数据、社交数据等等联合、碰撞从而产生新的数据,那么无疑能极大推动教育的创新。

从上述的痛点挑战,以及事例中可以发现,在秦淮教委创建智慧校园中,有着以下的数据处理和应用的需求。

  1. 汇聚各个独立应用的数据,打通数据孤岛;在众多应用之上集合数据,形成统计类型的数据大屏,方便实时地掌握各类信息。

  2. 适应未来教育发展,个性和多样的非结构化数据;教师和学生这类关于人的描述数据,会越来越全方位、多样化和个性化,需要底层的数据结构能够灵活的适应教育发展的需要。

  3. 通过汇聚海量数据,联合应用,提供教育洞察;学习行为分析系统,与学生成绩系统、操行评价系统等整合,可以为教研提供的数据依据和判断。

  4. 为系统中的各类对象和角色,快速提供灵活多样的信息;学生、教师、家长、学校、教研、行业、管理部门等等各类角色,可以在实时地、有权限地获得各类数据。

  5. 让教育行业的工作者、研究者和专家释放生产力,专注于业务领域的应用,而不必关注和受限于底层的数据管理。汇聚全方位数据,为教学教研、教育心理、营养健康、运动、组织行为等研究提供数据服务。

针对上述需求和挑战,各类选型方案比较

  • 自建方案;教育系统自行建设,费时费力,需要大量IT和数据处理及应用的专业人士。
  • 单项应用招标;为各类业务需求,单独招标采购,产生了大量账号、统计口径和数据孤岛。
  • 大数据平台;类似于Hadoop,的确是数据分析的能手,但是反应慢,信息滞后,同时耗用大量硬件资源。
  • 数据中台;保护原有投入,打通所有相关数据库,真正的实时信息,兼容全类型开发数据,无限地扩充应用。

Tapdata 实时数据中台是什么?是如何解决上述问题的?

Tapdata 实时数据中台简单来说是一个数据处理和应用的服务,即DaaS,( Data as a Service ),包含了从数据汇聚,到数据治理和编目,最后数据服务的三个层面。对应用了从数据输入,到数据整理,最后数据输出的三个过程。

在智慧校园创建中,后台(或者说是底部)有着各类应用形成的丰富数据资源,而这些数据资源却不能统一、快捷、实时地支持前台(或者说是上部)的使用,很大地限制了这一轮智慧教育的设计和需求的实现。

根据 Gartner 提出的 Pace-Layered Application Strategy 理论,如果智慧校园是一台引擎,那么它的后台基础数据资源和前台应用这两个齿轮的速率是不一样的。后台基础应用慢而长,需要稳定可靠,而前台业务应用快而短,需要快速响应。这种齿轮速率的”匹配失衡”最终拖累引擎的表现。

而 Tapdata 数据中台就象是一个变速齿轮,在其中很好地协调前后台,让基础数据资源顺畅地流向用户,同时更好地服务于前台应用的创新,恰当地解决了创建智慧校园的痛点。

Tapdata 实时数据中台是如何解决的?

Tapdata Real Time DaaS 数据中台架构图
在这里插入图片描述

  1. 通过Tapdata数据中台的采集模块,打通智慧校园系统中的各类数据孤岛,把所有数据汇聚到数据库。Tapdata DaaS 是采用MongoDB数据库来进行存储。MongoDB的海量和并发两大特性非常方便地为智慧校园系统提供横向扩展,也就是说,她可以随着智慧校园系统的发展不断成长。

  2. 各类应用孤岛中的数据被采集后,并不是简单地存储。首先数据编目是元数据管理,例如对所有的应用打上标签,包括数据是从哪个应用的哪个数据库来的,数据类型是什么,业务是什么,后面对接的应用是什么。一旦上层的应用发现数据有错误,可以通过数据编目来进行数据溯源,或者血缘分析,可以追溯到表级别、记录级别甚至是字段级别。其次是数据治理,针对在数据采集或者同步过程中,一些不符合规则和要求的脏数据,进一步进行处理。

  3. 数据服务是向外数据分发。传统的开发模式是DB在后台写数据查询和SQL分析,增加或修改一个查询接口要用到一周时间,费时费力。而Tapdata数据中台的API服务是遵从RestFul标准,并且只要通过在界面上的配置,5分钟可以完成一个API的分发。

Tapdata 实时数据中台的技术特点

  • TB/PB级的数据量
  • 基于NewSQL分布式数据库
  • 使用日志及流的实时数据采集
  • 毫秒级数据响应能力

Tapdata 实时数据中台在智慧校园中的业务架构
在这里插入图片描述
目前Tapdata先将各个应用,比如OA办公系统、教师发展平台、视频直播平台等,其中的数据全部采集到MongoDB数据库中,经过数据治理和编目后,将数据发布出来。数据分发至多个应用,比如Dashboard,包含有数据大屏,以及不同颗料度大小的统计报表;也同时可以满足其他开发商的应用需要;并且也提供给辖区内各个学校。

Tapdata 实时数据中台在智慧校园中的物理架构

在这里插入图片描述

在这里Tapdata为智慧校园部署了一个企业级的应用系统。其中包括MongoDB的分布式数据库,Tapdata的各个产品,以及备份措施。TapManagement是一个管理服务,通过Nginx作为UI界面,TapReplicator是一个数据采集模块,通过TapManagement配置和管理,把采集来的数据放入MongoDB数据库。同时TapManagement还具有数据治理和编目的功能。最终通过TapAPI服务将数据进行发布。

在数据采集TapReplicator模块中,支持的源端数据是非常多,包括Oracle、SQLserver、MySQL等各类主流数据库Tapdata支持的数据库列表,也包括Kafka、MQTT、Log、Socket等各类流数据,还包括Excel、CSV、XML、Binary等各类文件数据。同时支持断点续传、同步校验、故障自动转移等各种功能。

进一步了解 Tapdata 实时数据中台,更多技术文章可前往 Tapdata 技术博客。Tapdata 自研的异构数据库实时同步工具—— Tapdata Cloud ,现已免费开放给技术开发者使用,目前支持 Oracle、MySQL、PostgreSQL、SQL Server、MongoDB、Elasticsearch 、达梦、Kafka等主流库之间的数据迁移和同步,即将支持 DB2、Sybase ASE、Redis、GBase、GaussDB 等。

本文为 Tapdata 原创技术文章,源文地址。


http://chatgpt.dhexx.cn/article/amWQ6PhK.shtml

相关文章

智慧企业的基础——知识中台

智慧企业就是企业在数字经济时代为客户、员工、伙伴创造价值、赢得竞争的一种全新范式,是差异化竞争的优势所在,它通过人工智能、大数据、云计算等新技术实现组织业务全价值链、管理全层级的深度融合应用,从而使自身成为高洞察力、高应变力、…

智慧中台业务架构技术方案

推荐阅读: 世界的真实格局分析,地球人类社会底层运行原理不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT)亿级(无限级)并发,没那么难论数字化转型——转什么,如何转?华为…

入选百佳应用,智慧中台看″浙″里!

“四个一百”百佳应用 中国移动浙江公司贯彻落实集团公司“四个一百”的行动要求,积极参与中台能力破冰行动,通信能力开放团队孵化的 ”装维小号”和“区块链授信宝”2项优质应用,实现降本、增效、赋智一线成效,被评为 “百佳应用…

weiit—智慧中台,互联网生态体系构建者

weiit信息的数字化商业平台由三个部分组成,即:前台、后台、中台。 前台:由前端交易系统组成的前端平台。 每个前台系统就是一个用户触点,即企业的最终用户直接使用或交互的系统,是企业与用户的交点。例如企业搭建的电…

息息相关的两大体系:数据中台与业务系统

作者:品鉴 [ 更多内容详见数据中台官网 https://dp.alibaba.com ] 数据中台对外输出的表现形式多种多样,最普遍的做法是BI分析,其次是与业务中台形成一套有机的整体,对业务产生真正的价值。 数据中台的BI呈现 数据中台是以OneMod…

IPython的安装和基本使用

目录 IPython 概念 提示 安装 IPython主要特点 查看帮助 命令补充 执行系统命令 基本方法 IPython 概念 IPython(交互式Python)是一种强化的Python解释器,提供了比默认的Python解释器更丰富的功能和增强的交互性。IPython具有许多功…

ipython的安装和使用过程_数据分析之一:IPython安装及使用

1. 安装 进入virtual env环境,直接使用pip install ipython来安装 2. 使用IPython 通过命令行启动 (venv)MacBook-Air:ipython Travis$ ipython Python 2.7.10 (default, Oct 23 2015, 19:19:21) Type "copyright", "credits" or "license…

ipython安装成功后用不了_Python常用工具ipython安装与使用

IPython是Python的交互式Shell,提供了代码自动补完,自动缩进,高亮显示,执行Shell命令等非常有用的特性。 特别是代码补全功能非常实用。 安装ipython也非常简单,一台linux服务器上可以安装多个Python版本&#xff0c…

IPython安装使用详解

IPython是一个升级版的交互式python命令行工具。 ipython安装 pip install ipython 等到命令执行完成后显示successfully表示完装成功 在命令提示符下输入ipython就可以启动ipython了 其与原版python命令行工具不同在于ipython的提示符变成了in和out. in为输入命令的地方,…

Ipython安装错误集锦

Ipython安装错误集锦 工具:Windos PowerShell、cmd 输入pip install ipython 可能会直接就安上,但也可能 ① pip版本不够,需要重新安装 继续输入python -m pip install --upgrade pip版本号(如我是20.0.2) 但依然可…

ipython安装报错无效_pip,IPython安装(Python2.7版本)windows环境和Linux环境

一.Windows10下安装 1.下载运行ez_setup.py(一般会提示已安装) 2.下载安装运行 distribute_setup.py和 get-pip.py(自行百度) 3.执行pip命令,报错(环境变量也配置了,依然报命令不存在...) 后面查看scripts文件下面,根本没有pip.exe应用程序 3…

Ipython安装

1.下载 下载地址:https://pypi.python.org/pypi/ipython/6.1.0#downloads 2.将下载的文件放在在python的scripts文件夹下 3.利用pip命令安装 pip install ipython 4.配置环境变量 将ipython所在的文件夹的路径写入环境变量中 5.打开cmd命令符 输入ipython 显示以上的…

IPython是什么?怎样安装和启动IPython?

Python的优点之一是其交互式解释器,也称为shell。shell提供了一种能够快速实现灵感、检验特性的方法,以及交互式的模块界面,能够将一些需要两三行脚本才能完成的任务一次性完成。通常我们编写代码时,会采用同时运行文本编辑器和Py…

ipython的用法详解

ipython是一个升级版的交互式python命令行工具. ipython安装 pip install ipython 等到命令执行完成后显示successfully表示完装成功 在命令提示符下输入ipython就可以启动ipython了 其与原版python命令行工具不同在于ipython的提示符变成了in和out. in为输入命令的地方,out为命…

c语言的实验报告 实验4,C语言实验四实验报告

C语言实验报告四 实验4:循环结构程序设计 1、使用循环语句完成累乘、图像输出的程序编写。 2、掌握较复杂结构程序的编写。 3、掌握程序调试的方法。 4、编写实验报告。 二、实验内容 1、已知xyz yzz 532,其中x、y、z都是数字(0~9),编写一个…

C语言实验题

C语言实验题(单选) C程序中的宏展开是在(). A:编译时进行的 B:程序执行时进行的 C:编译前预处理时进行的 D:编辑时进行的 答案:C 下列标识符中,不合法的C语言用户自定义标识符是(). A:printf B:enum C:_ D:sin 答案:B 已知函…

C语言实验课基础考点1.0

一、数据类型与输入输出 数据类型输入输出符号int(整型)%dlong int (长整型)%ldfloat(单精度浮点) %f double(双精度浮点)%lfchar(字符)%cchar[ ](字符串&a…

C语言实验六

1. 从键盘上输入3个字符串&#xff0c;找出其中最大的字符串 #include <stdio.h>#include<string.h>int main(){ int i,j,k;char a[100],b[100],c[100];printf("请输入第一个字符串\n");gets(a);printf("请输入第二个字符串\n");gets(b);prin…

c语言报告实验反思,c语言实验总结与反思

c语言实验总结与反思 c语言实验总结与反思怎么写?以下是小编整理的相关范文,欢迎阅读。 c语言实验总结与反思一 这个星期,我们迎来了C语言实训——一次至为重要的实训。在这个星期里,同学们都很认真的做着那20多道实训题目,遇到不懂的互相请教,或请问老师。非常感谢老师对…

C语言实验题目及其解答

实验一 1、有以下C语言程序&#xff0c;功能为输入圆的半径&#xff0c;求出圆周长和圆面积。采用类的形式来改写该程序。&#xff08;要求半径的默认初值为0&#xff09; #include <iostream.h> const float PI3.14; float circumference(float r); float area(float r…