检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
linkConfig.server 是 String OBS服务器的终端节点(Endpoint)。 linkConfig.port 是 String 数据传输协议端口,https是443,http是80。 linkConfig.accessKey 是 String 访问标识(AK)。建议在配置文件或
description String API描述。 protocol String API请求协议类型。 枚举值: PROTOCOL_TYPE_HTTP:HTTP协议请求 PROTOCOL_TYPE_HTTPS:HTTPS协议请求 publish_type String 发布类型(已弃用)。 枚举值:
规则。可参考如下示例放通资源组网段。 优先级 策略 类型 协议端口 源地址 1 允许 IPv4 全部协议 IP地址:资源组网段 各数据源所用端口不尽
查询连接列表(待下线) 连接管理能力由管理中心统一提供,相关接口已不再维护,推荐使用管理中心API进行连接管理。 功能介绍 查询连接列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/connections
(单位ms),避免超时导致失败。 useCursorFetch=false:CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持u
URL导出数据,不支持导入。 表1 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法,从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 https://bucket
CDM迁移近一个月的数据 备HBase集群中约10TB数据,最近一个月新增的数据量约60TB,总共约70TB。H公司安装的云专线为20GE端口,支持CDM超大规格的集群(cdm.xlarge),综合考虑迁移时间、成本、性能等,这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。
通过单击或来关闭或开启通知开关。 通知类型 包含如下类型: 触发告警 运行成功 选择主题 选择消息通知的主题。 说明: 当前仅支持“短信”、“邮件”这两种协议的订阅终端订阅主题。 单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式,周期调度的相关参数配置请参见表3。 表3 配置周期调度参数
DES迁移一个月前的历史数据 迁移流程 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM
间(单位s),避免超时导致失败。 useCursorFetch=false:CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持u
String API路径。 protocol 否 String API请求协议类型。 枚举值: PROTOCOL_TYPE_HTTP:HTTP协议请求 PROTOCOL_TYPE_HTTPS:HTTPS协议请求 request_type 否 String 请求类型。 枚举值: R
请参考创建CDM集群进行创建。 数据集成配置 安全模式认证 是 是否安全模式认证。 https访问 是 开启https访问。 Https协议提升了集群安全性,同时集群性能会下降。 连接超时时间 否 连接超时时间,单位ms。默认10000。 超时时间 否 超时时间,单位ms。默认60000。
作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 obs.myregion.mycloud.com 端口 数据传输协议端口,https是443,http是80。 443 OBS桶类型 用户下拉选择即可,一般选择为“对象存储”。 对象存储 访问标识(AK)
Kafka到DLI实时同步中,作业运行失败,报“Array element access needs an index starting at 1 but was 0”怎么办? 问题描述 Kafka到DLI实时同步中,作业运行失败,报“Array element access needs
调度MRS spark作业报错“The throttling threshold has been reached: policy user over ratelimit,limit:60,time:1 minute.”怎么处理? 问题描述 DataArts Studio作业调度MRS
在API编辑界面,您可以修改API的基础配置或取数逻辑,例如API目录、描述、请求方式、入参、取数方式等,注意API名称、请求path、参数协议、安全认证不支持修改。 图1 修改API的基础配置或取数逻辑 API修改完成后,单击“下一步”进入测试页面。填写相关参数后,进行API测试。
连接地址前缀 是 适用组件勾选数据集成时显示该参数。 连接地址前缀,测试以及作业时调用接口,会自动拼接此前缀。https仅支持TLSv1.2协议。 例如: https://xxx.com/prefix。 默认Header参数 是 适用组件勾选数据集成时显示该参数。 默认header
询性能非常优异,比其他分析型数据库速度快一个数量级。 当前ClickHouse被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域,非常适用于商业智能化应用场景。 MapReduce服务(MRS Impala) Impala直接对存储在HDFS、HBase或
查找主题列表 功能介绍 通过名称(支持模糊查询)、创建者、责任人、状态、修改时间分页查找主题。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/subjects 表1 路径参数 参数 是否必选 参数类型 描述 project_id
如图2所示,实例ID为6b88…2688,工作空间ID为1dd3bc…d93f0。 图2 获取实例ID和工作空间ID 在对应主题的操作栏,选择“添加订阅”。然后协议选择“短信”或“邮件”,输入接收告警通知的手机号或邮箱即可。 图3 添加订阅 购买技术资产数量增量包 单击已开通实例卡片上的“购买增量包”。