检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何手工重启阻塞的质量作业或对账作业? 可能原因 质量作业或对账作业运行阻塞。 解决方案 阻塞的作业需要进行手工重启,如不重启1天内也会因作业超时自动结束该作业。 手工重启需要选择“运维管理”,先单击对应作业操作栏中的“取消”,作业运行状态变更为“失败”,此时然后单击操作栏中的“重跑”即可完成作业重启。
单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行结果。 待作业运行完成后,从实例监控中查看子作业foreach的运行结果,如图10所示。可以看到运行结果是符合预期的,当前HIVE
数据质量 有哪些需求,需要获得什么价值? 监控数据质量 支持更多数据源和更多规则的监控 作业数量规模是多少? 本示例仅1个 用户可手动创建几十个作业,也可以在数据架构中配置自动生成数据质量作业。如果调用数据质量监控的创建接口,则可创建超过100个质量作业 用户的使用场景? 对DWI层数据进行标准化清洗
数据集成组件中创建的CDM作业,包含作业中的CDM连接。 数据开发组件中已提交版本的脚本和作业。导出作业时默认只导出作业,不包含其依赖的脚本和资源。 数据架构组件中创建的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表,不包含事实表。
怎样查看质量规则模板关联的作业? 可能原因 质量规则模板关联的作业不清楚如何查看。 解决方案 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 规则模板”。 单击待操作规则模板操作列的“发布历史”。
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参,通过数据开发调用数据质量算子,运行的时候可以把数据质量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。
备份管理 每日备份在每日0点开始备份昨日的所有作业、脚本、资源和环境变量,启动当日不会备份昨日的作业、脚本、资源和环境变量。 选择OBS存储路径时,若仅选择至桶名层级,则备份对象自动存储在以“备份日期”命名的文件夹内。环境变量,资源,脚本和作业分别存储在1_env,2_resources
在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。单击“默认项设置”,设置“作业告警通知主题”配置项。按责任人配置工作空间作业告警通知主题的详细操作请参见作业告警通知主题。如果已配置,请忽略。 图1 配置作业告警通知主题 在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“终端订阅管理”页签
述,以便于检索。 “分类”是指按照种类、等级或性质分别归类。分类是自上而下的,通过对事物进行分析,按照一定的标准,划分出不同的类别。 二者主要区别如下: 表1 标签和分类区别 属性 分类 标签 排他性 有 无 关系 从属 相关(关联) 创建 事前规划 任意时间 代价 高 低 来源
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,右键单击目录名称,选择“新建作业”。 图1 新建作业 在弹出的“新建作业”页面,配置如表2所示的参数。 表2 作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“
选择类型 在数据资产搜索结果中,类型名称末尾带“_job”的数据资产为作业,单击某一作业名称,可以查看该作业的详情。在作业的详情页面进入“作业”页签,单击“编辑”可跳转到数据开发的作业编辑页面。 图3 查看作业 在数据资产搜索结果中,类型名称末尾带“_node”的数据资产为节点,
配置环境变量 本章节主要介绍环境变量的配置和使用。 使用场景 配置作业参数,当某参数隶属于多个作业,可将此参数提取出来作为环境变量,环境变量支持导入和导出。 简单模式和企业模式下,配置工作空间的环境变量的角色有所不同: 简单模式:工作空间的环境变量开发者和管理员都能创建或编辑环境
进行补数据的操作。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。在该作业的“操作”列,选择“更多 > 补数据”。进入“补数据”页面。 如果您需要补充2023-02-27至2023-03-01之间的历史数据,补数据的
进行补数据的操作。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。在该作业的“操作”列,选择“更多 > 补数据”。进入“补数据”页面。 如果您需要补充2023-02-27至2023-03-01之间的历史数据,补数据的
(如已存在out目录,会报错)。 单击“测试运行”,执行该脚本作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 图4 查看作业执行结果 作业日志中显示已运行成功 图5 作业运行日志 图6 作业运行状态 查看OBS桶中返回的记录。(没设置返回可跳过) 图7
Subjob节点用于将需要后续执行的作业job2作为子作业引用执行。实际使用中您可以引用已有作业,也可以使用其他作业节点替代Subjob节点。 作业的调度方式设置为“事件驱动调度”,DIS通道名称选择为工作空间A中job1作业中DIS Client节点所选择的通道,用于通过DIS消息触发作业运行。 IF判断条件设置,用于校验DIS
查询业务资产目录树 逐级查询业务资产目录树,包含数据规范同步过来的业务对象和逻辑实体。 指标资产接口 表3 指标资产接口 API 说明 查询指标资产目录树 查询指标资产目录树。 查询指标资产 指标资产查询接口。 统计资产接口 表4 统计资产接口 API 说明 获取技术资产统计信息 获取技术资产统计信息。
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 新建集成作业的方式有如下两种: 方式一:在“作业开发”界面中,单击“新建集成作业”。 图1 新建集成作业(方式一) 方式二:在作业目录中,右键单击目录名称,选择“新建集成作业”。 图2 新建集成作业(方式二) 在弹出的“新建集成作业”页面,配置如表1所示的参数。
调度所配置的周期性运行时间时,被自动调度起来的实例快照。 周期任务每调度一次,便生成一个实例工作流。用户可以对已调度起的实例任务进行日常的运维管理,如查看运行状态,对任务进行终止、重跑等操作。 表5 配置周期调度参数 参数名 说明 生效日期 调度任务的生效时间段。 调度周期 选择调度任务的执行周期,并配置相关参数。
迁移作业原理 数据迁移模型 CDM数据迁移时,简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。