检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果选择导入数据源,则单击“下一步”需要配置数据连接。 图9 配置数据连接 单击“下一步”,等待导入任务下发,导入任务成功下发后系统提示“导入开始”。 图10 导入开始 系统提示“导入开始”后,单击“确定”,可在资源迁移任务列表中查看导入结果。 其中存在子任务失败时,可单击红色子任务名,查看失败原因。
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;
右键单击作业所在的目录,单击“查看目录下作业依赖关系图”进入该目录下作业依赖图查看界面。 图4 在目录树上查看作业依赖关系图 系统自动展示该目录下作业的所有依赖关系,您可以查看作业之间的相互依赖关系。系统支持通过作业名称进行查找并高亮显示。 在依赖关系图中单击某节点,其上游作业会被标记为蓝色,下游作业会被标记为黄色。
况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群
管理信息参数说明 参数说明 说明 数据来源 描述数据来源,也就是数据的产生者。 例如,门店IT系统上报 *指标管理部门 指标的管理部门。 例如,数据平台部 *指标责任人 指标的责任人,可以手动输入责任人名字或直接选择已有的责任人。 配置完成后,单击“发布”,在弹出框中,选择审核人,单击“确
下载关系建模导入模板后,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单
业具有某一标签,记录为1,否则记录为0。如果某单元格为空,导入时系统会按0标记。 导入的文件大小最大支持10Mb。 如果导入的标签名有重复,且标签标识一个为0,一个为1,系统会按1处理。 如果导入的作业名有重复,系统会按后面一列来识别,标签标识按照该行来处理。 添加方式:支持追加和覆盖两种。
规则,规则中只能包含字母、数字、下划线(_)和通配符(*),例如 匹配规则为test_*时,表示匹配以“test_”开头的表。您也可以通过测试窗口,验证匹配规则是否符合预期。 通配符匹配适用于规则较多、结果表较多的情况。 全部:无需筛选或输入规则,直接选择当前数据库下的所有表作为任务目标表。
选择所需要的所属流程和衍生指标,此处仅展示有时间周期衍生指标。系统会根据同比配置,利用时间周期自动计算同比增长率。 环比 *设定衍生指标 选择所需要的所属流程和衍生指标,此处仅展示有时间周期衍生指标。系统会利用时间周期自动计算环比增长率。 基本参数配置完成后,单击“代码配置”,可以查看系统生成的伪代码。 单击“生成
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;
警规则”。 图1 “云数据迁移服务”服务监控项 根据界面提示设置CDM集群的告警规则。 设置完成后,单击“确定”。当符合规则的告警产生时,系统会自动进行通知。 更多关于监控告警的信息,请参见云监控用户指南。 父主题: 管理并查看CDM监控指标
间进行作业调度。 是否空跑 如果勾选了空跑,任务不会实际执行,将直接返回成功。 任务组 选择已配置好的任务组。配置方法请参见配置任务组。 系统默认“不选择任务组”。 任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
段。 使用AK/SK认证时必选。 - X-Sdk-Date 请求的发生时间,格式为(YYYYMMDD'T'HHMMSS'Z'),取值为当前系统的GMT时间。 当使用AK/SK方式认证时,使用SDK对请求进行签名的过程中会自动填充该字段。 使用AK/SK认证时必选。 20150907T101459Z
对于运行状态异常的实时集成作业,可以进行停止操作。 单击“停止”,系统弹出停止任务的提示框。 单击“确认”,停止该任务。 实时集成作业监控:恢复 对于运行状态异常的实时集成作业,可以进行恢复操作。 单击“恢复”。 系统提示“操作成功”,任务恢复成功。 实时集成作业监控:查看作业详细信息
开始之前的状态,自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时,CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验,检查端到端文件的一致性,并输出校验结果。 脏数据归档 支持
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;
支持的数据源 数据集成离线同步支持单表同步至目标单表、分库分表同步至目标单表及整库同步至目标单表三种同步方式,不同的同步方式支持的数据源有所不同: 单表同步:适用于数据入湖和数据上云场景下,表或文件级别的数据同步,支持的数据源请参见表/文件同步支持的数据源类型。 分库分表同步:适
首次进入“资产报告”页面,需要配置资产报告任务。单击右上方的配置图标,弹出配置窗口。 依次选择生效时间、调度周期和调度具体时间,系统将按配置的时间调度运行资产报告任务,更新资产报告内容。 图2 配置资产报告任务 系统调度运行资产报告任务后,重新进入“资产报告”页面,可查看逻辑实体、数据表、资产关联、资产容量、标
过安全认证,成功调用API。 本章节为您介绍如何通过白名单授权将API授权给账号。 约束与限制 对于数据服务共享版IAM认证方式的API,系统已默认记录了当前账号的白名单,不支持删除,因此共享版IAM认证方式的API无需进行授权即可进行调用。而专享版中使用IAM认证方式的API则必须先通过应用或白名单授权才能调用。