检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否离线导入,取值为是或者f否,默认取否。 是: 表示离线导入,导入速度较快,但导入过程中图处于锁定状态,不可读不可写。 否:表示在线导入,相对离线导入,在线导入速度略慢,但导入过程中图并未锁定,可读不可写。 重复边忽略Label 否 重复边的定义,是否忽略Label。取值为是或者否,默认取是。
于一次全量写入场景。 微批模式为异步分批写入Hoodie,适用于对入库时间SLA要求较为严格的场景,以及对资源消耗较小,对MOR表存储类型在线进行压缩的场景。 说明: 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时,使用微批模式呈现此参数。
查看详情”里面可以查看该作业的详细信息。 说明: 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。Spark代理连接不支持该配置。 在MRS API连接模式下,单算子作业Spark SQL支持程序运行参数。 Hive SQL属性 MRS作业名称 MR
customFields 否 Map<String,String> 用户自定义字段,长度不能超过2048个字符。 agency 否 String 代理名称 tags 否 List<String> 作业标签列表 表29 MRS Flink节点属性说明 参数名 是否必选 参数类型 说明 clusterName
Studio版本,版本差异请参见版本规格说明。 说明: 购买非免费版DataArts Studio实例时,会默认包含一个数据集成CDM集群,此集群规格建议用于作为连接代理。如需用于数据迁移作业,请购买更高规格的批量数据迁移增量包,详情请参考购买批量数据迁移增量包。 计费方式 包年包月 当前DataArts
Studio版本,版本差异请参见版本规格说明。 说明: 购买非免费版DataArts Studio实例时,会默认包含1个数据集成CDM集群,此集群规格建议用于作为连接代理。如需用于数据迁移作业,请购买更高规格的批量数据迁移增量包,详情请参考购买批量数据迁移增量包。 计费方式 包年包月 当前DataArts
应为“aes256-sha1,aes128-sha1”,并且集群中包含所需要的组件。 在创建数据连接前,请确保您已具备连接所需的Agent代理(即CDM集群,如果无可用CDM集群请参考创建CDM集群进行创建),且待连接的数据湖与CDM集群之间网络互通。 如果数据湖为云下的数据库,
对象存储迁移服务(Object Storage Migration Service,简称OMS)是一种线上数据迁移服务,帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中。简言之,入云迁移、对象存储迁移。更多详情请参见对象存储迁移服务。
DataArts Studio实例赠送的CDM集群,由于本身规格有限,推荐仅作为DataArts Studio管理中心数据连接的Agent代理使用。 建议为管理中心数据连接的Agent和CDM迁移作业规划相互独立的CDM集群,避免双方使用同一集群,导致业务高峰期时资源抢占引起业务不可用。
数的场景。 API测试 完成API参数的配置并保存后,单击左下角的“开始测试”,可进入API测试环节。 填写参数值,单击“开始测试”,即可在线发送API请求,在右侧可以看到API请求详情及返回内容。 测试过程中,如果数据服务API查询及返回数据的总时长超过默认60秒,会报超时错误。
整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线同步场景,不适用于在线实时同步。 支持整库同步的数据源(已支持的数据源即可作为源端,又可作为目的端组成不同链路)如下所示: 读取能力:DWS、RDS(MySQL)、RDS(PostgreSQL)
可以在下拉列表中选择已有的标签。 适用组件:保持默认即可。 SSL加密:是否开启,请与源端DWS集群的配置保持一致。 连接方式:选择“通过代理连接”。 手动:选择“集群名”模式,“IP”和“端口”不需要手动填写。 DWS集群名:选择所创建的DWS集群。 KMS密钥:选择一个KMS
仅具备Manager_tenant或Manager_auditor权限,无法创建连接。 cdm 密码 访问MRS Manager的用户密码。 - 开启LDAP认证 通过代理连接的时候,此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。
仅具备Manager_tenant或Manager_auditor权限,无法创建连接。 cdm 密码 访问MRS Manager的用户密码。 - 开启LDAP认证 通过代理连接的时候,此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。
仅具备Manager_tenant或Manager_auditor权限,无法创建连接。 cdm 密码 访问MRS Manager的用户密码。 - 开启LDAP认证 通过代理连接的时候,此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。
审批通过工单 功能介绍 审批通过工单。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-approve/approve/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
获取审批工单列表 功能介绍 获取审批工单列表 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/openapi/permission-approve/approvals 表1 路径参数 参数 是否必选 参数类型 描述 project_id
驳回工单 功能介绍 驳回工单。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-approve/reject/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
创建补数据实例 功能介绍 创建一个补数据实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/supplement-data 参数说明 参数名 是否必选 参数类型 说明 project_id
度CDM作业。 通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。本文以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程 通过CDM节点批量创建分表迁移作业