检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
咨询与计费 区域和可用区如何选择? 数据库、数据仓库、数据湖与华为智能数据湖方案是什么,有哪些区别和联系? DataArts Studio和沃土是什么关系? DataArts Studio和ROMA有什么差异? DataArts Studio是否支持私有化部署到本地或私有云? 如何在IAM中创建细粒度权限策略?
可能原因 质量作业或对账作业运行阻塞。 解决方案 阻塞的作业需要进行手工重启,如不重启1天内也会因作业超时自动结束该作业。 手工重启需要选择“运维管理”,先单击对应作业操作栏中的“取消”,作业运行状态变更为“失败”,此时然后单击操作栏中的“重跑”即可完成作业重启。 图1 作业重跑 父主题:
Studio新版控制台首页已经上线,您可以通过单击页面上方banner中的“立即体验”进入。 新版控制台首页,从功能组件入口升级为集任务处理、资源监控和场景学习于一体的一站式数据工作台,全面为您提升生产效率。 图2 旧版控制台首页 图3 新版控制台首页
Studio新版控制台首页已经上线,您可以通过单击页面上方banner中的“立即体验”进入。 新版控制台首页,从功能组件入口升级为集任务处理、资源监控和场景学习于一体的一站式数据工作台,全面为您提升生产效率。 图2 旧版控制台首页 图3 新版控制台首页 父主题: 购买并配置DataArts
"yyyy-MM-dd")},更多EL表达式请参见EL表达式。 保存并提交作业版本,单击“测试运行”,执行数据开发作业。 数据开发作业执行成功后,单击右上角的“前往监控”,进入“作业监控”页面,查看生成的任务或实例是否符合需求,如图6所示。 图6 查看运行结果
打开一个已创建好的作业,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 配置作业参数 作业参数中支持定义变量和常量,作业参数的作用范围为当前作业。 变量是指不同的作业下取值不同,需要重新配置值。
配置的位点时间早于Binlog日志最早时间点时,默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图14 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。
"description" : "数据监控责任人", "required" : false, "searchable" : false, "actived" : false, "label" : "数据监控责任人", "disabled"
对于DAYU User账号权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,角色的权限说明请参见权限列表章节。 如果预置角色可以满足您的使用需求,则您可以跳过本章节;否则,请您按照本章节描述创建自定义角色。
参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径,系统支持从HDFS或OBS的目录路径进行配置。 输出数据路径 否 设置输出数据路径,系统支持从HDFS或OBS的目录路径进行配置。 表2 配置高级参数 参数 是否必选 说明 作业状态轮询时间(秒)
化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业,系统基于最新的作业调度实例生成数据血缘关系后,在冷却期(默认为48小时)内不会再次更新数据血缘关系。如需更新,需要等待冷却期结束或将数据开发作业再次提交版本后调度。
配置的位点时间早于Binlog日志最早时间点时,默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图12 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。
数据标准管理着重建立统一的数据语言,各级数据层级业务对象的定义是数据标准的载体,并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发 数据开发是编排、调度和运维的中心,数据开发是一个
并且会在OBS桶中自动创建该目录(如已存在out目录,会报错)。 单击“测试运行”,执行该脚本作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 图4 查看作业执行结果 作业日志中显示已运行成功 图5 作业运行日志 图6 作业运行状态 查看OBS桶中返回的记录。(没设置返回可跳过)
本章节主要介绍数据目录权限管理。 约束与限制 仅管理员角色的用户支持创建、删除、修改数据目录权限规则和设置数据目录权限生效状态。 开发者、运维者和访客角色的用户仅支持查看数据目录权限规则和规则列表。 管理数据目录权限规则 在DataArts Studio控制台首页,选择对应工作空
状态显示为“等待运行”。 补数据场景下,在补数据监控页面,补数据作业实例运行状态显示为“待确认执行”,可以在实例监控页面进行手动确认执行,单击“确认执行”后,补数据作业实例运行状态显示为“等待运行”。 批作业监控场景下,在批作业监控页面,作业实例运行状态显示为“待确认执行”,可以
行后,会通过For Each节点循环调用运行子作业EL_test_slave。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行结果。 待作业运行完成后,从实例监控中找到子作业EL_test_slave的循环运行结果,如图10所示。 图10 子作业运行结果 查看子作业E
com/huaweicloudDocs/dgc/blob/master/WordCount.jar 下载的Flink作业资源包需要进行JAR包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载JAR包的SHA256值,其中,“D:\wordcount.jar”为JAR包的
配置的位点时间早于Binlog日志最早时间点时,默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图17 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。
配置的位点时间早于CDC日志最早时间点时,默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图14 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。