检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只
"last_modified_time": 1532423354625, "partitions": [{"status": "ACTIVE", "hash_range": "[0 : 9223372036854775807]", "sequence_number_range": "[0 :
64编码后的字符串)。 比如需要上传字符串“data”,“data”经过Base64编码之后是“ZGF0YQ==”。 explicit_hash_key 否 String 用于明确数据需要写入分区的哈希值,此哈希值将覆盖“partition_key”的哈希值。 取值范围:0~long
调用说明 数据接入服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 父主题: 使用前必读
EXPIRED:已过期 枚举值: CREATING ACTIVE DELETED EXPIRED partition_id String 分区的唯一标识符。 hash_range String 分区的可能哈希键值范围。 sequence_number_range String 分区的序列号范围。 parent_partitions
否 数据压缩类型,当前支持的压缩算法: lz4:综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 snappy:其目标不是最大限度压缩或者兼容其他压缩格式,而是旨在提供高速压缩速度和合理的压缩率。 zstd:一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。
处理方法:停止Agent进程,修改配置DIS Agent中“agent.yml”配置文件的配置。停止Agent30分钟后重启Agent。 UnknownHttpStatusCodeException: Unknown status code [441] 可能原因: AK/SK配置错误。 处理方法:停止Agent进程检查AK/SK配置。
点Endpoint获取。 创建通道 如下示例是创建通道最简单的配置。 Token认证,具体操作请参考Token认证。 发送“POST https://dis的Endpoint/v2/{project_id}/streams”。 在Request Header中增加“X-Auth-Token”。
dissource.projectId = YOU_PROJECT_ID agent.sources.dissource.endpoint = https://dis.${region}.cloud.com agent.sources.dissource.group.id = YOU_APP_NAME
withBodyCompressEnabled(true) .withBodyCompressType(CompressionType.ZSTD) // 配置压缩算法,当前支持lz4和zstd,默认值为lz4 // 以下配置失败时的重试次数 .withProperty(DISConfig
type 否 开启压缩时选择的数据压缩格式,目前支持的压缩格式如下: lz4:综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 zstd:一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。 lz4 PROXY_HOST 否 配置代理IP,请求走代理服务器的需要配置。
配置样例工程 样例代码请查看:https://github.com/huaweicloud/huaweicloud-sdk-python-dis/tree/master/dis_sdk_python_demo。 操作步骤 huaweicloud-python-sdk-dis已发布到
介绍如何在控制台或者调用API获取项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。
artifactId> <version>1.2.18</version> </dependency> 使用DIS样例工程 在https://dis-publish.obs-website.cn-north-1.myhuaweicloud.com/中下载DIS的kafka-adapter压缩包。
retrySize 否 Sink程序调用DIS接口异常时尝试重新调用的次数。 建议使用默认值2147483647,表示会无限重试。 重试时会使用指数退避算法,并等待一段时间,以减轻异常时服务器压力。 2147483647 resultLogLevel 否 每次调用DIS接口后输出最新sequenceNumber到日志的级别。
MM-dd-yyyy HH:mm:ss dd-MM-yyyy HH:mm:ss 响应参数 无 请求示例 添加OBS转储任务 POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks {
type 否 开启压缩时选择的数据压缩格式,目前支持的压缩格式如下: lz4:综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 zstd:一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。 lz4 PROXY_HOST 否 配置代理IP,请求走代理服务器的需要配置。
EXPIRED:已过期 枚举值: CREATING ACTIVE DELETED EXPIRED partition_id String 分区的唯一标识符。 hash_range String 分区的可能哈希键值范围。 sequence_number_range String 分区的序列号范围。 parent_partitions
BatchTransferTask 参数 是否必选 参数类型 描述 id 是 String 转储任务ID 响应参数 无 请求示例 批量启动转储任务 POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks/action
BatchTransferTask 参数 是否必选 参数类型 描述 id 是 String 转储任务ID 响应参数 无 请求示例 批量暂停转储任务 POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks/action