检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要确保MySQL可以通过公网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已获取本地MySQL数据库和RDS上MySQL数据库的IP地址、数据库名称、用户名和密码。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了MySQL数据库驱动。
Hive上创建Hive分区表 创建CDM集群并绑定EIP 创建MySQL连接 创建Hive连接 创建迁移作业 前提条件 已经购买MRS。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 已在CDM集群的“作业管理 > 连接管理 > 驱
定时器启动失败。 请联系客服或技术支持人员协助解决。 Cdm.0066 400 获取样值失败,原因:%s。 获取样值失败。 请联系客服或技术支持人员协助解决。 Cdm.0067 400 获取Schema失败,原因:%s。 获取Schema失败。 请联系客服或技术支持人员协助解决。 Cdm.0085
下载CDM集群日志 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录,定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 hivelink URI NameNode URI地址。 hdfs://hacluster Hive元数据地址 设置Hive元数据地址,参考 hive.metastore.uris配置项。例如:thrift://host-192-168-1-212:9083
String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 表3 请求Body参数 参数 是否必选
“驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 GBASE8A驱动:获取地址 https://www.gbase.cn/download/gbase-8a?category=DRIVER_PACKAGE,建议8.3
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String CDM集群ID,获取方法请参见查询集群列表。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述
进入管理中心页面后,从浏览器地址栏中获取“instanceId”和“workspace”对应的值,即为DataArts Studio的实例ID和工作空间ID。 如图2所示,实例ID为6b88…2688,工作空间ID为1dd3bc…d93f0。 图2 获取实例ID和工作空间ID 在对
根据区域确定调用API的Endpoint。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 创建Shell脚本 如下示例是创建shell脚本的配置。 { "name":"echoTimeShell"
表示通过内部网络访问集群数据库的访问地址,可填写为IP或域名。内网访问IP或域名地址在创建集群时自动生成,您可以通过管理控制台获取访问地址: 根据注册的账号登录DWS云服务管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。
认证前准备 通过SDK调用API前,需要获取如下认证信息: 访问服务前,首先需要得到API的ID、请求URL和请求方法 在数据服务的“API目录”页面,单击API名称,在“完整信息”页面查看API的ID、请求URL和请求方法。 图1 API基础定义 对于APP认证的API,您必须
String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 id 是 String 需要查询的规则组ID 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token
用户流量限制(次/10s) 获取质量报告评分体系 获取质量报告评分体系。 300 40 获取质量报告概览 获取质量报告概览。 300 40 获取质量报告趋势 获取质量报告趋势。 300 40 获取质量报告规则评分 获取质量报告规则评分。 300 40 获取质量报告子规则字段评分 获取质量报告子规则字段评分。
用户流量限制(次/min) 获取数据库列表 获取数据库列表。 12000 60 获取schemas 获取schemas,目前只有DWS和采用postgresql驱动的RDS数据源支持schema,请在调用前确认该数据源是否支持schema字段。 12000 60 获取数据源中的表 获取数据源中的表。 12000
已参见表1获取相应Hadoop集群配置文件和Keytab文件。 获取集群配置文件和Keytab文件 不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同,请参见表1获取相应Hadoop集群配置文件和Keytab文件。 表1 集群配置文件和Keytab文件获取方式 Hadoop类型连接
实例购买/试用成功后,无法转移到另一个区域/可用区。 区域和终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。 父主题: 咨询与计费
单击作业目录中的,选择“显示复选框”。 勾选需要导出的作业,单击 > 导出作业,可选择“只导出作业”或“导出作业及其依赖脚本和资源定义”。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。
项目ID,获取方法请参见项目ID和账号ID。 api_id 是 String API ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户To