检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
权限同步到DLI的任务通过云服务委托(dlg_agency)完成,因此需要委托拥有IAM认证服务相关权限,具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限(二者选其一配置即可) IAM权限 系统获取用户或用户组、创建角色时,需要该权限。 例如用户同步时,如果无此权限会导致操作失败。
已将当前登录账号切换为IAM子用户账号,且具有至少DWS Database Access权限。 MRS Hive连接: MRS Hive连接中的用户是否配置了代理权限,若没配置代理,可参考参考:为MRS数据连接用户配置代理权限。 MRS SPARK连接: MRS SPARK连接中的用户是否配置了代理权限,若没配置
如果大量CDM作业同时执行,当超过当前CDM集群的并发执行作业数时,会导致作业排队,耗时提升。 建议您将迁移作业的运行时间错开,平摊在业务周期内,避免资源紧张导致迁移时间过长。 调整抽取并发数 对于低任务量场景,调整抽取并发数是性能调优的最佳方式。CDM迁移作业支持设置作业抽取并发数,同时也可以设置集群最大抽取并发数。
如何选择版本 请您根据您所需的功能和规格,慎重选择DataArts Studio版本。 购买版本后,无法直接降级版本。如已购买企业版,无法直接降级到初级版,您需要采取先备份数据,然后退订原有实例,购买新实例,最后迁移备份数据到新实例的方式来实现版本降级。 如果您的业务量不断增长,
端放在STANDALONE进程里,防止冲突导致迁移失败。 STANDALONE 是否使用集群配置 用户可以在“连接管理”处创建集群配置,用于简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。
小时[00:00,00:59],依赖策略是调度周期长的作业,往前推一个调度周期找依赖实例。 A依赖B,在同自然小时内,无论A、B设置在什么时间点执行,A永远在B的前一周期完成后执行。 举例:A在每小时5分0秒执行,B在12分执行,A会在每小时5分时依赖B上一小时生成的实例。 小时依赖天
NDALONE。 STANDALONE Agent Agent功能待下线,无需配置。 - 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。
lassification/rule 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String
冲突导致迁移失败。 EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。
配置”。 单击“环境变量”,在“环境变量配置”页面,配置如表1所示的变量或常量,单击“保存”。 变量和常量的区别是其他工作空间或者项目导入的时候,是否需要重新配置值。 变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。
主机连接参数说明 表1 主机连接 参数 是否必选 说明 数据连接类型 是 主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,
将会比较耗时。此时,如果需要在调用时不计算并返回数据总条数,可以修改use_total_num参数。use_total_num参数用于控制是否计算并返回数据总条数,值为1返回数据总条数,值非1不返回数据总条数。 图8 “返回总条数”参数配置 Headers:将获取Token中保存
见《企业管理用户指南》。 如果已经创建了企业项目,这里才可以选择。当DataArts Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。 一个企业项目下只能购买一个DataArts
取数据总条数将会比较耗时。此时,如果需要在调用时不计算并返回数据总条数,可以修改如下参数设置。其中的use_total_num参数用于控制是否计算并返回数据总条数,值为1返回数据总条数,值非1不返回数据总条数。 1 request.addQueryStringParam("use_total_num"
将会比较耗时。此时,如果需要在调用时不计算并返回数据总条数,可以修改use_total_num参数。use_total_num参数用于控制是否计算并返回数据总条数,值为1返回数据总条数,值非1不返回数据总条数。 图9 “返回总条数”参数配置 Headers:将2中保存的X-Sdk
见《企业管理用户指南》。 如果已经创建了企业项目,这里才可以选择。当DataArts Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。 一个企业项目下只能购买一个DataArts
按区域和实例规格匹配到两个资源后,从当前开始的1个月订购有效期内,两个资源组同时使用只能使用745/2=372.5小时,约15.5天,剩余时间内两个资源组按照按需计费的方式结算费用。 如果当前绑定区域没有对应资源组,购买套餐包后不会消耗所购买的时长;但在生效期内,若未使用资源组,
/v2/{project_id}/design/subjects/business 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页查询条数,
添加结果集映射。节点映射表达式取普通API的结果,如“${NormalApi_5274d|payload}”,结果集名称按照实际取值,此处以销售记录Sales records为例进行配置。 格式转换选择返回格式为EXCEL。 图4 配置输出处理算子 保存API工作量,然后调试并发布到集群。则后续调用者就可以通过
在管理中心页面,单击“数据连接”,进入数据连接页面并单击“创建数据连接”。 参见表1配置相关参数,创建主机连接名称为“ecs”的数据连接,如图1所示。 表1 主机连接 参数 是否必选 说明 数据连接类型 是 主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。