检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据服务API API管理接口 申请管理接口 消息管理接口 授权管理接口 服务目录管理接口 网关管理接口 应用管理接口 总览接口 集群管理接口
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
登录DataArts Studio控制台 登录华为云控制台。 在控制台左上方,单击“服务列表”按钮,选择“”,进入DataArts Studio控制台。 购买DataArts Studio基础包 进入购买DataArts Studio实例界面。 配置DataArts Studio实例参数,各参数说明如表1所示。
ClickHouse > 实例”,配置ClickHouseBalancer的默认端口,非安全模式MRS集群配置“lb_http_port”参数对应的端口,安全模式MRS集群配置“lb_https_port”参数对应的端口。 如果MRS ClickHouse是安全集群,则需配置为https默认端口。
下载端口映射工具IPOP,在网关机上安装IPOP。 运行端口映射工具,选择“端口映射”,如图2所示。 本地地址、本地端口:配置为网关机的公网地址和端口(后续在CDM上创建MySQL连接时输入这个地址和端口)。 映射地址、映射端口:配置为内网MySQL的地址和端口。 图2 配置端口映射 单击“增加”,添加端口映射关系。
配置MRS Hudi源端参数 作业中源连接为MRS Hudi连接时,源端作业参数如表1所示。 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择
详情请参见配置DataArts Studio数据连接参数进行配置。 图3 创建数据连接 配置资源组。 选择配置好网络连接的资源组。 图4 选择资源组 无可选资源组时,可单击“新建”跳转至购买资源组页面创建资源组配置,详情请参见购买数据集成资源组增量包进行配置。 配置目的端的数据连接。
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
Studio实例控制台 前提条件 请参见购买DataArts Studio实例,确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台,在左上角的服务列表中选择“数据治理中心DataArts Studio”,进入DataArts Studio实例控制台。 如果当前区域下有多个DataArts
/bucket/dir”。 obs://bucket/dir/test.txt 属性配置 需要集成的表名,多个表名使用英文逗号“,”分开,请务必配置,不要有空格,默认无需配置。 - 父主题: 配置连接参数
Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,只需要修改资源引用的位置即可,不需要修改作业配置。关于资源的使用样例请参见开发一个DLI Spark作业。 约束限制 该功能依赖于OBS服务或MRS
查询权限集中配置的url信息 功能介绍 查询权限集中配置的url信息,例如obs、hdfs等组件中的url路径。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-sets/datasource/urls 表1
查询数据源可配置权限 功能介绍 查询数据源可配置权限。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-sets/datasource/configurations 表1 路径参数 参数 是否必选 参数类型
图3 选择连接器类型 连接器类型选择“Oracle”后单击“下一步”,配置Oracle连接参数: 名称:用户自定义连接名称,例如“oracle_link”。 数据库服务器地址、端口:配置为Oracle服务器的地址、端口。 数据库名称:选择要导出数据的Oracle数据库名称。 用
配置委托时获取委托列表失败如何处理? 可能原因 当配置工作空间级或者作业级委托,查看委托列表时,报错信息如“Policy doesn't allow iam:agencies:listAgencies to be performed.”,可能是权限不足引起的。 解决方案 则需要使
如果CDM需要访问本地数据源、Internet的数据源,或者跨VPC的云服务,则必须要为CDM集群绑定一个弹性IP,或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Internet,具体操作请见添加SNAT规则。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度C
报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”? 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项
问控制页面。 图1 进入行级访问控制页面 单击“新建”,进入新建行级访问控制策略页面,参数配置参考表1。 图2 新建行级访问控制策略参数配置 创建行级访问控制策略参数配置说明: 表1 配置策略参数 参数名 参数说明 *策略名称 行级访问控制策略的标识,同一个数据表上不能有同名的行访问控制策略。