检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您如果需要及时了解作业的执行结果是成功还是失败,可以通过数据开发的运维调度界面进行查看,如图9所示。 图9 查看作业执行情况 父主题: 图数据自动化构建与分析
图3 配置失败策略 测试运行作业,并前往实例监控中查看执行结果。 待作业运行完成后,从实例监控中查看作业实例的运行结果,如图4所示。可以看到运行结果是符合预期的,当前CDM执行的结果为fail的时候,跳过A分支,执行B分支。
图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图2 导出作业 导入作业 导入作业功能依赖于OBS服务,如无OBS服务,可从本地导入。
查看API工作流授权:在API工作流列表页面,单击对应工作流操作栏中的“查看授权”,即可进入API完整信息界面,并对工作流进行授权。 注意,当入口API的安全认证方式为APP认证或IAM认证时,在调用API工作流前需要完成创建应用和将API授权给应用。
图3 配置失败策略 测试运行作业,并前往实例监控中查看执行结果。 待作业运行完成后,从实例监控中查看作业实例的运行结果,如图4所示。可以看到运行结果是符合预期的,当前CDM执行的结果为fail的时候,跳过A分支,执行B分支。
查找需要撤销的API名称,单击“撤销”。 父主题: 数据服务
搬迁后验证 在新空间的作业和连接导入完成后,您可以在新空间查看并验证作业和连接是否与旧空间一致,以确保导入成功。 父主题: DataArts Studio配置数据搬迁实践
返回“表/文件迁移”页面后,可在作业列表中查看到新建的作业。 图13 迁移作业运行结果 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
用户需要具备DLI数据源所有字段的“查询表”权限,即SELECT权限。 MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。
对非结构化数据文件(docx、pptx、xlsx和pdf)注入明水印,可在本地打开文件,查看水印内容。
您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 数据集成CDM集群可以在DataArts Studio控制台以增量包的形式购买,也可以在云数据迁移CDM服务控制台直接购买。
数据血缘的展示: 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 父主题: 节点数据血缘
如何查看套餐包的剩余时长? CDM可以跨账户使用吗? CDM集群是否支持升级操作? CDM迁移性能如何? CDM不同集群规格对应并发的作业数是多少? 是否支持增量迁移? 是否支持字段转换? Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些?
等待操作执行完成,即可在“上次逆向”中查看结果或者执行重新逆向操作。 父主题: 通用操作
图2 创建MRS Hive连接 单击“显示高级属性”可查看更多可选参数,这里保持默认,必填参数如下表所示。 表1 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
通过图表进一步进行原理解释: “先向前找上游依赖实例,依赖上游一整个区间内的实例” 解释如下: 图1 先向前找上游依赖实例,依赖上游一整个区间内的实例 “向前未找到依赖的实例时,需要向后找,向后查找时,只依赖最近的一个实例” 解释如下: 图2 向前未找到依赖的实例时,需要向后找,向后查找时
用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
用户需要具备DLI数据源所有字段的“查询表”权限,即SELECT权限。 MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。
图3 新建转换器 转换器类型选择“表达式转换”,目前表达式转换支持字符串和日期类型的函数,语法和Java的字符串和时间格式函数非常相似,可以查看表达式转换了解如何编写表达式。
更多案例 EL表达式在数据开发过程中被广泛应用,您可以参考最佳实践查看更多应用EL表达式的进阶实践。 父主题: EL表达式参考