检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 导入模式 COPY模式:将源数据经过DWS管理节点后复制到数据节点。如果需要通过Inter
用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 导入模式 COPY模式:将源数据经过DWS管理节点后复制到数据节点。如果需要通过Inter
启动作业的标识文件名。指定文件后,只有在源端路径下存在该文件的情况下才会运行任务,不指定时默认不启用该功能,例如:“ok.txt”。 fromJobConfig.waitTime 否 String 选择开启作业标识文件的功能时,如果源路径下不存在启动作业的标识文件,作业挂机等待的时长,当超时后任务会失败。
API在线生成SDK代码,以及如何获取CDM服务的SDK包地址和参考文档。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。
使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集 MySQL通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本
删除作业 功能介绍 删除作业接口。 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
件,默认为|。 | 标识文件名 选择开启作业标识文件的功能时,需要指定启动作业的标识文件名。指定文件后,只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 等待时间 选择开启作业标识文件的功能时,如果源路径下不存在启动作业的标识文件,作业挂机等待的时长,当超时后任务会失败。
启动作业的标识文件名。指定文件后,只有在源端路径下存在该文件的情况下才会运行任务,不指定时默认不启用该功能,例如:“ok.txt”。 fromJobConfig.waitTime 否 String 选择开启作业标识文件的功能时,如果源路径下不存在启动作业的标识文件,作业挂机等待的时长,当超时后任务会失败。
如果是导入到RDS上的MySQL数据库,由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQL实例的参数组,将“local_infile”设置为“ON”,开启该功能。 说明: 如果RDS上的“local_infile”参数组不可编辑,则说明是默认参数组,
查询集群的企业项目ID 功能介绍 查询指定集群的企业项目ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/enterprise-projects 表1 路径参数 参数 是否必选 参数类型 描述
isAutoOff Boolean 自动关机。 isScheduleBootOff Boolean 选择是否启用定时开关机功能。定时开关机功能和自动关机功能不可同时开启。 clusterMode String 集群模式:sharding(分片集群)。 namespace String
都会被解压。 * 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业,否则会挂起等待一段时间,等待时长在下方“等待时间”中配置。 否 标识文件名 选择开启作业标识文件的功能时,需要指定启动作业的标识文件名。指定文件后,只有在源端路径下
停止集群(待下线) 功能介绍 停止集群接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的Ia
服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用CDM服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。 前提条件 给用户组授权之前,请您了解用户组可以添加的CDM权限,并结合实际需求进
转换为Byte[]数组(二进制)写入HBase,其他类型的按字符串写入。如果这几种类型中,有合并做rowkey的,就依然当字符串写入。 该功能作用是:降低存储占用空间,存储更高效;特定场景下rowkey分布更均匀。 false:源端数据库中所有类型的数据,都会按照字符串写入HBase。
分区字段是否允许空值 是否允许分区字段包含空值。 是 按表分区抽取 支持从分区表的各个分区并行抽取数据。启用该功能时,可以通过下面的“表分区”参数指定具体的表分区。 该功能不支持非分区表。 仅支持源端数据源为PostgreSQL时配置该参数。 数据库用户需要具有系统视图dba_ta
启动作业 功能介绍 启动作业接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/start 表1 路径参数 参数 是否必选 参数类型 描述 project_id
同的集群,只能使用EMBEDDED运行模式连接其中一个集群,其余需使用STANDALONE。 STANDALONE Agent Agent功能待下线,无需配置。 - 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”
flush <table name> 在源端CDH集群HBase shell执行: compact <table name> 如果表没有打开Snap功能,则执行: hadoop dfsadmin -allowSnapshot $path 创建HDFS Snapshot,例如命名s0: hdfs