date 日期格式的字符串。 “2018-01-13”或“2018-01-13 12:10:30” DATE或timeStamp 特殊 ip Ip地址格式的字符串。 “192.168.127.100” String 数组 string_array 全部是字符串的数组。 [“str”,“str”]
CDM集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务(如D
CDM绑定了弹性IP,也不会开放端口到弹性IP,攻击者无法通过弹性IP来访问和攻击CDM。不过从公网迁移数据的方式下,由于用户数据源也会暴露在公网,存在被第三方攻击的威胁,推荐用户在数据源服务器上通过ACL或防火墙对源端进行防护,比如仅放通来自CDM绑定的弹性IP的访问请求。
数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统,与管理IP相关。 https://管理IP:8088/deviceManager/devicemanager/login/login
“JSON对象”,并且指定记录节点为“hits.hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4
如果未开启,检查用户组是否添加CDM Administrator角色。 如果已开启,请继续执行步骤2继续检查。 检查用户是否添加CDM访问策略,包含自定义策略或预设策略,如CDM FullAccess、CDM ReadOnlyAccess等,参考CDM权限管理。 检查对应企业项目是否添加拒绝访问策略。
“JSON对象”,并且指定记录节点为“hits.hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4
行数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时,支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。 说明: 源端为Hi
Studio服务进入数据集成界面可以看到。 单击集群名称后,选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”,通过添加、修改标签为CDM集群设置资源标识。 图3 添加标签 一个集群最多可添加10个标签。 标签键(key)的最大长度为36个字符,标签值(value)的最大长度为43个字符。
restartCluster 导入作业 cluster clusterImportJob 绑定弹性IP cluster bindEip 解绑弹性IP cluster unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接 link
写入文件后,选择对文件的压缩格式。支持以下压缩格式: NONE:不压缩。 DEFLATE:压缩为DEFLATE格式。 GZIP:压缩为GZIP格式。 BZIP2:压缩为BZIP2格式。 LZ4:压缩为LZ4格式。 SNAPPY:压缩为SNAPPY格式。 SNAPPY 换行符 文件中的换行符
压缩格式,当文件格式为“CSV_FILE”或“JSON”时此参数有效。选择对应压缩格式的源文件: NONE:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 fromJobConfig.jsonReferenceNode 否 String 记录节点,当文
FILES_READ Integer 读取的文件数。 TOTAL_SIZE Long 总字节数。 FILES_SKIPPED Integer 跳过的文件数。 ROWS_WRITTEN_SKIPPED Long 跳过的行数。 请求示例 GET /v1.1/1551c7f6c808414d8e9f
FILES_READ Integer 读取的文件数。 TOTAL_SIZE Long 总字节数。 FILES_SKIPPED Integer 跳过的文件数。 ROWS_WRITTEN_SKIPPED Long 跳过的行数。 请求示例 GET /v1.1/1551c7f6c808414d8e9f
6be-4262-8697-e7af1fac7920/cdm/job”。 HTTP方法:创建CDM作业的HTTP请求方法为“POST”。 添加如下两个请求头: Content-Type = application/json X-Language = en-us 请求消息体:输入修
压缩格式,当文件格式为“CSV_FILE”或“JSON”时此参数有效。选择对应压缩格式的源文件: NONE:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 fromJobConfig.splitType 否 枚举 指定任务分片方式,选择按文件或文件大小进行分割。
OBS连接参数说明 OBS连接目的端OBS桶需添加读写权限,并在连接时不需要认证文件。 CDM集群和OBS桶不在同一个Region时,不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接OBS时,相关连接参数如表1所示。
fromCompression 否 枚举 选择对应压缩格式的源文件进行迁移: NONE:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 TAR.GZ:表示只传输TAR.GZ格式的文件。 fromJobConfig.compressedFileSuffix
创建CDM自定义策略 如果系统预置的CDM权限策略,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考策略和授权项。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作
REPLACE:替换重复文件。 SKIP:跳过重复文件。 ABANDON:发现重复文件停止任务。 toJobConfig.compression 否 枚举 写入文件后,选择对文件的压缩格式。支持以下压缩格式: NONE:不压缩。 DEFLATE:压缩为DEFLATE格式。 GZIP:压缩为GZIP格式。 BZIP2:压缩为BZIP2格式。
您即将访问非华为云网站,请注意账号财产安全