-
MRS Spark Python - 数据治理中心 DataArts Studio
前往MRS管理控制台进行新建。 如何新建集群,请参见《MapReduce服务(MRS) 使用指南》中的创建集群章节。 MRS资源队列 否 选择已创建好的MRS资源队列。 当配置默认项“MRS资源队列是否必填”设置为“是”时,该参数为必填。
-
数据集成API错误码 - 数据治理中心 DataArts Studio
用户权限不足 在CDM控制台操作时,请参考CDM权限管理为该用户授予足够的操作权限。 在DataArts Studio控制台操作时,请参考DataArts Studio权限管理为该用户授予足够的操作权限。 Cdm.0036 400 内部错误。 内部错误。
-
新建质量作业 - 数据治理中心 DataArts Studio
您可以对已调度起的实例任务进行日常的运维管理,如查看运行状态,对任务进行终止、重跑等操作。 只有支持委托提交作业的MRS集群,才支持质量作业周期调度。 支持委托方式提交作业的MRS集群有: MRS的非安全集群。
-
开发Python脚本 - 数据治理中心 DataArts Studio
操作步骤 参考访问DataArts Studio实例控制台登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。
-
步骤2:数据开发 - 数据治理中心 DataArts Studio
图11 查看作业执行情况 数据开发还支持配置通知管理,可以选择配置当作业运行异常/失败后,进行短信、邮件等多种方式提醒,此处不再展开描述。 至此,基于电商BI报表的数据开发流程示例完成。
-
步骤3:数据开发 - 数据治理中心 DataArts Studio
图11 查看作业执行情况 数据开发还支持配置通知管理,可以选择配置当作业运行异常/失败后,进行短信、邮件、控制台等多种方式提醒,此处不再展开描述。 至此,基于电影评分的数据集成与开发流程示例完成。
-
开发Shell脚本 - 数据治理中心 DataArts Studio
操作步骤 参考访问DataArts Studio实例控制台登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。
-
Import GES - 数据治理中心 DataArts Studio
如需新建GES图,请前往GES管理控制台进行新建。 元数据来源 是 元数据来源支持以下两种方式: 已有文件:从OBS桶中选择已有的xml格式元数据文件。 新建元数据:根据MRS Hive中的点表和边表,生成xml格式元数据文件到 OBS桶中。
-
跨空间进行作业调度 - 数据治理中心 DataArts Studio
已具备MRS服务Kafka组件,并已分别在工作空间A和B的管理中心组件内,创建MRS Kafka连接。 配置方法(DIS Client) 登录DataArts Studio控制台,找到所需要的DataArts Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。
-
调度作业 - 数据治理中心 DataArts Studio
连接名称 选择数据连接,需先在“管理中心”创建kafka数据连接。 Topic 选择需要发往kafka的消息Topic。 消费组 消费者组是kafka提供的可扩展且具有容错性的消费者机制。
-
常见错误码参考 - 数据治理中心 DataArts Studio
当前没有MRS连接,您需要先前往集群的“连接管理”页面创建一个MRS连接,然后再重新执行当前的操作。 Cdm.0230 不能加载该类:%s。 请联系客服或技术支持人员协助解决。 Cdm.0231 不能初始化该类:%s。 请联系客服或技术支持人员协助解决。
-
新建汇总表 - 数据治理中心 DataArts Studio
管理汇总表 在数据架构控制台,单击左侧导航树中的“维度建模”,选择“汇总表”页签,进入汇总表页面。 图4 汇总表页面 您可以根据实际需要选择如下操作。 当需要... 则... 新建 执行新建汇总表并发布。 编辑 执行3。 发布 执行4。 发布历史 执行5。 预览SQL 执行6。