检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。如果您需要再创建新的CDM集群,请参考购买批量数据迁移增量包,完成购买数据集成增量包的操作。 CDM集群与待同步数据源可以正常通信。 当
Studio实例,默认提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的。其中数据开发作业的每天调度次数,是以节点(包含Dummy节点)为粒度进行度量的,另外补数据任务也会计入度量次数,但测试运行、失败重试不会计入。您可以在新版本模式的DataArts
ioutil.NopCloser(bytes.NewBuffer([]byte("foo=bar")))) 给请求添加header头,内容为具体参数数据。如有需要,添加需要签名的其他头域。 r.Header.Add("x-stage", "RELEASE") r.Header
DLI权限管理仅涉及授权dlg_agency委托,不涉及检查集群版本与权限。 使用前检查checklist 表1 使用前检查checklist 检查项 是否必选 检查内容 配置指导 数据连接Agent版本 MRS/DWS权限管理时必选 CDM集群为2.10.0.300及以上版本。 登录CDM管理控制台,进入
表1 配置目录权限策略参数说明 参数名 参数描述 *策略名称 标识目录权限策略,为便于策略管理,建议名称中包含资源对象和授权对象。 授权内容 数据开发(DLF) 选择需要授权的数据开发脚本和作业的一级目录。 说明: 即使仅选择脚本目录或仅选择作业目录,策略配置后,对于非授权对象的普通用户(即非DAYU
通过一键跳转查看日志。 单击作业名称,在打开的页面中查看该作业的作业参数、作业属性、作业实例。 单击作业的某个节点,可以查看节点属性、脚本内容、节点监控等信息。在节点监控页签,可以查看实时作业的运行日志。 同时,您可以查看当前作业版本、作业运行状态、启动、重跑、作业开发、是否显示指标监控、设置作业刷新频率等。
查看发布历史 执行5 下线 执行6。 删除 执行7。 编辑 在需要编辑的衍生指标右侧,单击“编辑”,进入编辑衍生指标页面。 根据实际需要编辑相关内容。 在页面下方,单击“保存”按钮,保存所做的修改,稍后在发布。 发布 选择需要发布的衍生指标,单击“发布”,在弹出框中,选择审核人,单击“
现批量创建分表迁移作业。 本教程中,源端MySQL数据库中存在三张分表,分别是mail01、mail02和mail03,且表结构一致,数据内容不同。目的端为MRS Hive服务。 操作前提 已创建CDM集群。 已经开通了MRS Hive服务。 已经在MRS Hive服务中创建了数据库和表。
件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig
查看发布历史 执行5。 下线 执行6。 删除 执行7。 编辑 在需要编辑的原子指标右侧,单击“编辑”,进入编辑原子指标页面。 根据实际需要编辑相关内容。 单击“发布”。如果您暂时不想发布,可以先单击“保存”,稍后再发布。 发布 在需要发布的原子指标右侧,单击“发布”,在弹出框中,选择审核
数据接入服务(DIS)和Kafka数据源约束 消息体中的数据是一条类似CSV格式的记录,可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 设置为长久运行的任务,如果DIS系统发生中断,任务也会失败结束。 迁移作业源端为MRS Kafka时,字段映射不支持自定义字段。 迁移作业源端为DMS
件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig
当为工作空间分配队列资源后,在数据开发组件在为作业节点配置队列资源时,可选择的队列为当前空间下已分配的队列资源。 当为用户组/用户配置队列权限策略后,授权对象将按照策略内容被授予相应权限。 配置空间资源权限策略 数据安全支持对空间资源进行管控,例如数据连接、委托等资源。空间资源管控后,对于非授权对象的普通用户,则无权再查看并使用此资源。
删除 执行7。 导入 执行8。 导出 执行9。 编辑 在需要编辑的原子指标右侧,单击“编辑”,进入编辑原子指标页面。 根据实际需要编辑相关内容。 单击“发布”。如果您暂时不想发布,可以先单击“保存”,稍后再发布。 发布 在需要发布的原子指标右侧,单击“发布”,弹出“提交发布”对话框。
分类名称列表。 表6 Connection 参数 参数类型 描述 guid String 关联guid。 display_text String 显示内容。 type_name String 类型名称。 connection_type String 连接类型。 qualified_name String
查看作业依赖图”,详情请参见批作业监控:查看作业依赖图。 全量导出 单击“全量导出”,进入到“导出全量数据”页面,单击“确认”。导出完成后,请到下载中心查看导出的内容。 如果没有配置默认存储路径,单击“批量导出”后,配置存储路径,可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M,超过30M系统会自动截断。
"Action=ListUsers&Version=2010-05-08", "demo"); 给请求添加header头,内容为具体参数数据。如果有需要,添加需要签名的其他头域。 1 2 request->addHeader("x-stage", "RELEASE");
params.query_str = query_str; params.payload = payload; 给请求添加header头,内容为具体参数数据。如果有需要,添加需要签名的其他头域。 sig_headers_add(¶ms.headers, "x-stage"
method String 规则方式, REGULAR, NONE, DEFAULT content_expression String 内容表达式。 column_expression String 列表达式。 commit_expression String 备注表达式。 project_id
method String 规则方式, REGULAR, NONE, DEFAULT content_expression String 内容表达式。 column_expression String 列表达式。 commit_expression String 备注表达式。 project_id