检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以通过以下两种方式导出质量报告: 若使用局点有OBS服务,系统默认导出到关联的OBS桶中。 由于质量报告数据量较大,单个导出文件字段条数最多为2000条,因此OBS桶里或许会有多个导出文件。 导出的报告仅限当前工作空间内。 若使用局点没有OBS服务,系统默认导出到本地。 在DataArts St
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 /user/output 文件格式 写入后的文件格式,可选择以下文件格式:
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;
SQL只能手动输入,不支持选择。 选择执行DLI作业的资源队列。当脚本为DLI SQL时,配置该参数。选择了资源队列以后,单击可以查看队列性能,系统支持查看DLI运行作业数和队列CU使用量,系统显示队列近24小时性能情况。 说明: 当队列选择为“default”时,会提示“暂不支持"default"队列性能展示”。
配置作业调度任务(批处理作业)。 如果该作业在基线任务链路上,暂停调度/停止调度时,系统会自动给出基线关联的弹窗提示。 如果该作业在基线任务链路上或者被其他作业依赖, 暂停调度/停止调度时,系统会自动给出弹窗提示。 图3 启动作业 批作业监控:补数据 补数据是指作业执行一个调度任
02,该业务日期系统会自动传给作业计划时间,脚本时间变量DATE的表达式中,定义的时间为作业计划时间减去一天,即作业计划时间的前一天时间为补数据的时间范围(2023-02-27至2023-03-01)。 图4 补数据 表2 参数说明 参数 说明 补数据名称 系统自动生成一个补数据的任务名称,允许修改。
createSnapshot 否 Boolean 如果配置为“true”,CDM读取HDFS系统上的文件时,会先对待迁移的源目录创建快照(不允许对单个文件创建快照),然后CDM迁移快照中的数据。 需要HDFS系统的管理员权限才可以创建快照,CDM作业完成后,快照会被删除。 fromJobConfig
如果选择导入数据源,则单击“下一步”需要配置数据连接。 图9 配置数据连接 单击“下一步”,等待导入任务下发,导入任务成功下发后系统提示“导入开始”。 图10 导入开始 系统提示“导入开始”后,单击“确定”,可在资源迁移任务列表中查看导入结果。 其中存在子任务失败时,可单击红色子任务名,查看失败原因。
购买数据服务专享集群增量包 数据服务专享集群增量包对应数据服务专享版集群。创建一个数据服务专享集群增量包,系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;
02,该业务日期系统会自动传给作业计划时间,脚本时间变量DATE的表达式中,定义的时间为作业计划时间减去一天,即作业计划时间的前一天时间为补数据的时间范围(2023-02-27至2023-03-01)。 图4 补数据 表2 参数说明 参数 说明 补数据名称 系统自动生成一个补数据的任务名称,允许修改。
右键单击作业所在的目录,单击“查看目录下作业依赖关系图”进入该目录下作业依赖图查看界面。 图4 在目录树上查看作业依赖关系图 系统自动展示该目录下作业的所有依赖关系,您可以查看作业之间的相互依赖关系。系统支持通过作业名称进行查找并高亮显示。 在依赖关系图中单击某节点,其上游作业会被标记为蓝色,下游作业会被标记为黄色。
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 /ftp/a.csv|/ftp/b.txt
下载关系建模导入模板后,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单
业具有某一标签,记录为1,否则记录为0。如果某单元格为空,导入时系统会按0标记。 导入的文件大小最大支持10Mb。 如果导入的标签名有重复,且标签标识一个为0,一个为1,系统会按1处理。 如果导入的作业名有重复,系统会按后面一列来识别,标签标识按照该行来处理。 添加方式:支持追加和覆盖两种。
hon脚本,系统自动默认显示Python版本,例如Python3。如果脚本未创建,请参考新建脚本和开发Python脚本先创建和开发脚本。 说明: 若选择Python语句方式,数据开发模块将无法解析您输入Python语句中携带的参数。 若选择Python脚本方式,系统自动默认显示的
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 FROM/example.csv 列表文件