检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生产者调用PutRecord操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。 应用程序:一个DIS应用程序是读取和处理来自DIS数据通道的使用者。您可以使用客户端库(SDK)构建DIS应用程序。
14:40:22.092 [main] INFOcom.bigdata.dis.sdk.demo.ProducerDemo - Put 3 records[3 successful / 0 failed]. 14:40:22.092 [main] INFOcom.bigdata.dis.sdk
“状态”为“失败”,单击“查看详情”查看转储失败详情。 “状态”为“异常”,单击“查看详情”查看转储失败详情。 修改和启用转储任务 用户在创建通道并增加转储任务成功后,支持对已创建的通道属性进行修改。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击
TRIM_HORIZON:最小偏移量,即读取最早的数据。 缺省值:LATEST 枚举值: LATEST TRIM_HORIZON dli_database_name 是 String 存储该通道数据的DLI数据库名称。 dli_table_name 是 String 存储该通道数据的DLI表名称。 说明: 仅支持数
DIS)。数据接入服务面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 您可以使用本文档提供API对实时数据进行相关操作,如上传、下载等。支持的全部操作请参见API概览。 在调用数据接入服务API之前,请确保已经充分了解数据接入服务相关概念,详细信息请参见“产品介绍”。
String 存储该通道数据的DWS集群名称。 dws_cluster_id 是 String 存储该通道数据的DWS集群ID。 dws_database_name 是 String 存储该通道数据的DWS数据库名称。 dws_schema 是 String 存储该通道数据的DWS数据库模式。
如何校验软件包完整性? 获取DIS SDK软件包及校验文件后,可以在Linux系统上按如下步骤对软件包的完整性进行校验。 前提条件 已获取“PuTTY”工具。 已获取“WinSCP”工具。 操作步骤 使用“WinSCP”工具将“huaweicloud-sdk-dis-x.x.x.zip”上传至Linux系统任一目录。
可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 如表1所示,包括了DIS的所有系统权限。其中“依赖关系”表示该系统权限对其它权限的依赖。由于华为云各服务之间存在业务交互关系,数据接入服务的权限
弹性伸缩分区 用户在创建通道成功后,随着业务的发展和变化,对通道容量有了新的需求。弹性伸缩分区可以对已经创建成功的通道进行分区扩容或者分区缩容以满足用户这一需求,支持自动和手动扩缩容两种方式。 约束限制 每个通道在一小时内仅可操作实现10次自动扩容、10次手动扩容、1次缩容(包含手动缩容和自动缩容)操作。
订阅所有匹配通配符的通道并支持ConsumerRebalanceListener回调 void unsubscribe() 接口 支持 取消所有订阅 ConsumerRecords<K, V> poll(long var1) 接口 支持 获取消息,但消息当中未实现 checksum(消息的CRC32校验值)、seri
订阅所有匹配通配符的通道并支持ConsumerRebalanceListener回调 void unsubscribe() 接口 支持 取消所有订阅 ConsumerRecords<K, V> poll(long var1) 接口 支持 获取消息,但消息当中未实现 checksum(消息的CRC32校验值)、seri
请检查传入的MRS HDFS路径是否存在。 400 DIS.4337 The DLI database does not exist. 创建DLI转储任务时,传入的DLI数据库不存在 请检查传入的DLI数据库是否存在。 400 DIS.4338 The DLI table does not
ProjectID 通道名称起始位置Streaming批次时间 如在华北-北京1测试,则参数示例为 https://dis.${region}.cloud.com ${region} YOU_AK YOU_SK YOU_PROJECTID YOU_STREAM_NAME latest 10
生命周期(小时) 存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格
yml”的样例。 关于AK/SK加密的使用说明: 参照安装DIS Agent下载安装dis-agent,利用dis-agent包中bin目录下的脚本对AK和SK进行加密,按照如下所示步骤进行操作(windows环境下): 进入到dis-agent的bin目录中,右键git bash here运行脚本,示例:
token。 AK/SK认证就是使用AK/SK对请求进行签名,在请求时将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access
“高级配置”页签,选择“现在配置”,展开标签页。 输入新添加标签的键和值。 系统支持添加多个标签,最多可添加10个标签,并取各个标签的交集,对目标通道进行搜索。 图1 添加标签 您也可对现有通道增加标签,详见管理标签。 搜索目标通道 在现有通道列表页,按标签键或标签值搜索目标通道。
创建MRS转储任务时,传入的MRS HDFS路径无效 请检查传入的MRS HDFS路径是否存在。 400 DIS.4337 The DLI database does not exist. 创建DLI转储任务时,传入的DLI数据库不存在 请检查传入的DLI数据库是否存在。 400 DIS