检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
桶类型分为对象桶和并行文件系统,对象桶过滤文件会比较慢,建议客户使用并行文件桶。 linkConfig.server 是 String OBS服务器的终端节点(Endpoint)。 linkConfig.port 是 String 数据传输协议端口,https是443,http是80。
String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。 请求示例 查询连接列表。 GET /v1/b384b9e9ab9b4ee89
"lastUpdate": 1544777083000, "name": "从路径[obs://aaaaa/job_batch.zip]导入作业。", "projectId": "b384b9e9ab9b4ee8994c8633aabc9505", "startTime":
在解决方案目录中,右键单击解决方案名称,选择“编辑”,修改名称和作业。 导出解决方案 在解决方案目录中,右键单击解决方案名称,选择“导出”,导出zip格式的解决方案文件至本地。 导入解决方案 导入解决方案功能依赖于OBS服务,如无OBS服务,可从本地导入。 在解决方案目录中,右键单击根目
即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 update_time String 更新时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 l1
即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 update_time String 更新时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 l1
单击“新建”,在弹出的对话框中,配置相关参数,新建指标。 SQL语句如下: SELECT SUM(fare_amount) FROM sdi_taxi_trip_data; 图4 新建指标 选择“业务指标监控 > 规则管理”。 单击“新建”,在弹出的对话框中,配置相关参数,新建规则。 图5 新建规则
等连接添加特定路由。 当CDM集群与其他云服务所在的区域不一致时,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 另外,如果创建了企业项目,则企
ttp是80。 443 OBS桶类型 用户下拉选择即可,一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
目的端数据库中的对象名需要满足约束:长度不超过63个字符,以字母或下划线开头,中间字符可以是字母、数字、下划线、$。 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。 Oracle归档日志建议保留3天以上。 禁止对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。
查询指定连接的配置详情。 - - 修改连接(待下线) 编辑修改连接的配置。 - - 删除连接(待下线) 删除一个连接。 - - 导出连接(待下线) 导出zip压缩包格式的连接文件,包括所有连接的定义。 - - 导入连接(待下线) 将存放在OBS桶的连接文件导入到数据开发模块中,一次可以导入一个或多个连接。
"type": "HASH", //动态脱敏规则类型,除SM3为HASH类型外,其他规则均为MASK类型 "description": "SM3算法加密", //动态脱敏规则描述 }, "datasource_type":"HIVE",
目标数据库中的库名、表名、字段名仅支持数字、字母和下划线,且字段名必须以字母或下划线开头,建议尽量使用常规字符避免任务失败。 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。 Oracle归档日志建议保留3天以上。 禁止对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。
说明下相应的任务参数说明。 value 是 Object 参数值,参数名对应的值,必须填写为字符串。 type 否 String 值类型,如STRING、INTEGER,由系统设定,用户无需填写。 表8 extended-configs 参数 是否必选 参数类型 描述 name 否
说明下相应的任务参数说明。 value 是 Object 参数值,参数名对应的值,必须填写为字符串。 type 否 String 值类型,如STRING、INTEGER,由系统设定,用户无需填写。 表8 extended-configs 参数 是否必选 参数类型 描述 name 否
4xlarge实例规格CDM集群网卡的基准/最大带宽为36/40 Gbps。 通过公网互通时,网络带宽受到公网带宽的限制。CDM侧公网带宽规格受限于CDM集群所绑定的弹性公网IP,数据源侧受限于其所访问的公网带宽规格。 通过VPN、NAT或专线互通时,网络带宽受到VPN、NAT或专线带宽的限制。 目的端写入性能 取决于目的端数据源的性能。
ttp是80。 443 OBS桶类型 用户下拉选择即可,一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
绑定公网域名”,输入已完成域名注册、ICP备案的域名,数据服务调用DNS服务将公网域名与外网地址相关联。注意,绑定公网域名的前提是在集群创建时已开启“公网入口”绑定了弹性公网IP,否则将会绑定失败。另外,每个租户支持添加50个公网域名。 公网域名支持添加主域名及主域名的子域名,即最多支持添加二级域名,例如abc.example
分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云
支持开启/未开启Keberos认证的MRS集群Kafka实例。 不支持开启SASL_SSL的Kafka实例。 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。 增量同步阶段: 整库场景下需要根据同步的Topic分区数对应增加作业并发数,否则可能导致任务内存溢出。 常见故障排查: