检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
端、目的端都为对象存储时，才有该参数。 选择“是”后，迁移对象文件时会复制源文件的Content-Type属性，主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性，所以如果开启了该参数，目的端选择写入的桶时，必须选择非归档存储的桶。 toJobConfig
关键路径：影响基线任务的多条路径中，运行耗时最长的路径。 事件：基线任务及其上游任务出错，或关键路径上的任务变慢时，会产生事件。事件会影响基线任务的按时完成。 监控范围 关键任务以及其依赖链上游的所有任务。 功能介绍 将重要任务添加到基线上后，系统将根据基线的优先级保障基线任务的资源，并根据
问题描述 Hive迁移作业长时间卡顿怎么办？ 解决方案 为避免Hive迁移作业长时间卡顿，可手动停止迁移作业后，通过编辑Hive连接增加如下属性设置： 属性名称：hive.server2.idle.operation.timeout 值：10m 如图所示： 父主题： 数据集成（CDM作业）
String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 说明： 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时，工作空间为必填参数，否则会报错。
当“规则类型”选择“自定义规则”，数据对象选择对应的数据库即可。 数据对象 在来源对象选择的数据表将和右侧目的对象的数据表做结果比较。选择配置的数据对账规则所应用到的表。 说明： 数据表与数据库强相关，基于已选择的数据库。数据库基于已建立的数据连接。 SQL 当“规则类型”选择“自定义规则”时，需要配置该参数。
删除 Hive表分区字段 “自动创建”设置为“不自动创建”时，无该此参数。 对Hive建表设置分区字段，多个值以逗号隔开。 A,B 表路径 “自动创建”设置为“不自动创建”时，无该此参数。 表路径。 - 存储格式 “自动创建”设置为“不自动创建”时，无该此参数。 选择存储格式。 行式存储格式：TEXTFILE。
解析SQL节点的血缘时，支持多SQL解析及列级血缘解析，单条SQL语句不支持SQL中含有分号的场景。 表1 支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS
删除脚本 当您不需要使用某个脚本时，可以参考如下操作删除该脚本。 删除脚本时会检查脚本被哪个作业引用，引用列表中显示“版本”，表示此脚本被哪些作业版本引用。单击删除时，会删除对应的作业和这个作业的所有版本信息。 如果某一个待删除的脚本正在被作业关联，请确保强制删除脚本后，不影响业
数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源，介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。 环境准备 需要准备好对账的数据源，即通过管理
可追溯性：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示，为数据表对象，为
priority优先级的映射关系如下： 补数据的优先级设置为1时，映射到DLI优先级spark.sql.dli.job.priority=1； 补数据的优先级设置为2时，映射到DLI优先级spark.sql.dli.job.priority=3； 补数据的优先级设置为3时，映射到DLI优先级spark
数可见。 配置委托后，作业执行过程中，以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级，此处支持修改。 实例超时时间 配置作业实例的超时时间，设置为0或不配置时，该配置项不生效。如果您为作业设置了异常通知，当作业实例执行时间超过超时时间，将触发异常通知
展开查看血缘的上下链路。 单击血缘图中的某一个节点，可以查看该节点的详情。 进入“作业”页签，单击“编辑”可跳转到数据开发的作业编辑页面。 图4 查看节点血缘 在数据资产搜索结果中，图标为表格的数据资产为表，单击某一表名称，可以查看表的详情。在详情页面，可以查看表的血缘信息。 单
当“调度周期”选择为“周”或者“月”时，才需要配置。 设置通知发送的具体日期。 当调度周期为周时，可设置为一周中星期一至星期日的某一天或某几天。 当调度周期为月时，可设置为一月中每月1号至每月31号的某一天或某几天。 具体时间 是 设置通知发送的具体时间点，可以精确设置到小时和分钟。 选择主题 是 设置通知发送的主题。
操作中抽取并发数只能设置为1。 HDFS 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
业和后续新创建的作业运行异常/失败时都会发送通知。 通知类型：选择“运行异常/失败”，当作业的状态为“运行异常”或“失败”时，发送通知。 另外可以设置作业运行异常或者失败后、在作业未修复前，告警通知的“最大通知次数”和“最小通知间隔（分钟）”。 最大通知次数可设置为1~50。默认为1时，最小通知间隔不显示。
SQL脚本中开发完成的DWS SQL脚本“dws_sql”。 数据连接：默认选择SQL脚本“dws_sql”中设置的数据连接，支持修改。 数据库：默认选择SQL脚本“dws_sql”中设置的数据库，支持修改。 脚本参数：通过EL表达式获取"yesterday"的值，EL表达式如下：
作业中目的连接为DLI连接时，即将数据导入到数据湖探索服务（DLI）时，目的端作业参数如表1所示。 使用CDM服务迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对
序参数时的排序参数顺序或脚本/MyBatis方式API SQL中的排序参数顺序为准，调整不生效。 修改升序或降序的排序参数为其他排序方式，则会调用失败，不允许修改。 （可选）“返回总条数”配置：在创建API时，如果已打开“返回总条数”开关，则当API对应的数据表数据量较大时，获取
将一个字段标记为入库时间字段，自动建表时将此字段自动加到建表语句中，写入Hudi时将把此字段的值替换为当前时间，不自动建表时选择已经存在的入库时间字段。 是 入库时间字段名称 “使用入库时间字段”设置为“是”时，呈现此参数。 用于记录写入Hudi的时间。 说明： 对于已存在目的端表中带有入库时间字段的，可以直
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
