检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果已开启,请继续执行步骤2继续检查。 检查用户是否添加CDM访问策略,包含自定义策略或预设策略,如CDM FullAccess、CDM ReadOnlyAccess等,参考CDM权限管理。 检查对应企业项目是否添加拒绝访问策略。 父主题: 数据集成
datasource_type 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database 否 String 数据库名称 cluster_name 否 String 集群名称。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 workspace 是
如图1所示,第一个Rest Client调用了MRS服务查询集群列表的API,图2为API返回值的JSON消息体。 使用场景:需要获取集群列表中第一个集群的cluster Id,然后作为参数传递给后面的节点使用。 关键配置:在第一个Rest Client的“响应消息体解析为传递参数定义”配置中,配置clusterId=clusters[0]
如图1所示,第一个Rest Client调用了MRS服务查询集群列表的API,图2为API返回值的JSON消息体。 使用场景:需要获取集群列表中第一个集群的cluster Id,然后作为参数传递给后面的节点使用。 关键配置:在第一个Rest Client的“响应消息体解析为传递参数定义”配置中,配置clusterId=clusters[0]
[ { "cluster_id" : "c94a9133-ef65-47ad-9483-bfa8c5eaa101", "cluster_name" : "dws_ssl_4autotest_nomodify", "cluster_type" : "DWS"
用户名、密码和密钥对密码。 创建DIS以及对象存储类型连接的相关信息:包括用于创建DIS/对象存储类型数据连接所需的Access key、Secret Access Key。 数据存储安全 DataArts Studio通过加密算法对用户个人敏感数据加密后进行存储。对于用户敏感信
标识本次导出的唯一值,用于查询导入结果。importing(导出中)、fail(导出失败)、success(导出成功)。 枚举值: importing: 导出中 fail: 导出失败 success: 导出成功 group BatchOperationVO object 分组信息,导出时可忽略。
index_data_size Double 索引数据量大小。 表9 Namespace 参数 参数类型 描述 namespace_name String 命名空间的名称。 namespace_guid String 命名空间的guid。 namespace_qualified_name String 命名空间的唯一标识名称。
Studio服务的相关标签策略,则需按照标签策略规则添加标签。标签如果不符合标签策略的规则,则可能会导致实例创建失败,请联系组织管理员了解标签策略详情。 当拥有多个工作空间时,您可以按使用者、维护者或用途等各类维度为各工作空间添加标签,然后在工作空间列表页面,可以通过标签搜索、识别不同类型的工作空间。
2.0(Authorization Code):Oauth2.0认证。 Oauth2.0授权码模式,使用账号密码换取accessToken,再使用获取的accessToken访问接口。 用户名 否 认证方式为BASIC_AUTH模式时显示该参数。 可以通过#username获取该值,放到body、header中传递。
mgrationuser CONTAINER=ALL; GRANT EXECUTE ON DBMS_LOGMNR TO mgrationuser CONTAINER=ALL; GRANT EXECUTE ON DBMS_LOGMNR_D TO mgrationuser CONTAINER=ALL;
URL地址:其中project_id、cluster_id和2. 配置“创建作业”节点中的保持一致,作业名需要配置为“dws2obs-${currentTime}”。格式为https://{Endpoint}/cdm/v1.0/{project_id}/clusters/{cluster_id}/cdm
ALLOW permission_actions 否 Array of strings 权限操作列表。 cluster_id 否 String 集群id。 cluster_name 否 String 集群名称。 datasource_type 否 String 数据源类型 HIVE数据源
Studio服务的相关标签策略,则需按照标签策略规则添加标签。标签如果不符合标签策略的规则,则可能会导致实例创建失败,请联系组织管理员了解标签策略详情。 当拥有多个工作空间时,您可以按使用者、维护者或用途等各类维度为各工作空间添加标签,然后在工作空间列表页面,可以通过标签搜索、识别不同类型的工作空间。
提交审核。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。 可以参照步骤3~步骤5,完成其他业务指标的创建和发布。
workspace String 工作空间(仅工作空间角色需要)。 cluster_type String 集群类型(仅集群角色需要), MRS, DWS, DLI。 cluster_id String 集群id(仅集群角色需要)。 cluster_name String 集群名称(仅集群角色需要)。
dli:table:grantPrivilege dli:column:grantPrivilege dli:queue:grantPrivilege DLI FullAccess 如出现此提示,可参考如下示例完成委托授权(本例以授予系统权限为例): 登录IAM控制台。 在统一身份认证服务左侧导航窗格中,单击“委托”。
是否必选 参数类型 说明 name 是 String 新的作业名称。 响应参数 表4 参数说明 参数名 是否必选 参数类型 说明 is_success 是 Boolean true或者false status_code 是 Integer 状态响应码 请求示例 PUT /v2/620
Studio服务的相关标签策略,则需按照标签策略规则添加标签。标签如果不符合标签策略的规则,则可能会导致实例创建失败,请联系组织管理员了解标签策略详情。 当拥有多个工作空间时,您可以按使用者、维护者或用途等各类维度为各工作空间添加标签,然后在工作空间列表页面,可以通过标签搜索、识别不同类型的工作空间。
性能过慢处理方案 实时处理集成作业各链路如果速度过慢(查看作业监控指标速率不符合实时处理集成作业提供的性能规格),需要考虑以下几点: 目的端写入过慢。 源端抽取过慢。 其他问题(请联系技术支持人员协助解决)。 因为目的端写入过慢会影响至源端,导致源端抽取速度下降,因此链路速度过慢