-
Protobuf格式上传流式数据 - 数据接入服务 DIS
'', ak=os.environ.get("HUAWEICLOUD_SDK_AK"), sk=os.environ.get("HUAWEICLOUD_SDK_SK"), projectid='', region='',bodySerializeType='protobuf') 配置参数如下
-
DIS如何实现转储数据至DWS的特定列 - 数据接入服务 DIS
-
初始化DIS客户端 - 数据接入服务 DIS
cli = disclient(endpoint='**your-endpoint**', // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; //
-
获取数据游标 - 数据接入服务 DIS
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 // 配置通道名称 String streamName = "myStream"; // 配置数据下载分区ID String partitionId = "0"; // 配置下载数据序列号
-
上传流式数据 - 数据接入服务 DIS
String streamName = "xxxx"; // 配置上传的数据 String message = "hello world
-
初始化DIS客户端 - 数据接入服务 DIS
使用配置文件初始化DIS SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk:用户在IAM中创建的AK/SK。 region:用户使用通道所在的区域。
-
步骤1:开通DIS通道 - 数据接入服务 DIS
仅当“Schema配置开关”配置为“开启”:时需要配置此参数。 企业项目 配置通道所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。
-
步骤1:开通DIS通道 - 数据接入服务 DIS
仅当“Schema配置开关”配置为“开启”:时需要配置此参数。 企业项目 配置通道所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。
-
添加DLI转储任务 - 数据接入服务 DIS
默认配置为空。 retry_duration 否 String 用户数据导入DLI失败的失效重试时间。重试时间超过该配置项配置的值,则将转储失败的数据备份至“OBS桶/ file_prefix/dli_error”目录下。取值范围:0~7200。单位:秒。默认配置为1800。
-
添加MRS转储任务 - 数据接入服务 DIS
重试时间超过该配置项配置的值,则将转储失败的数据备份至“OBS桶/ file_prefix/mrs_error”目录下。 取值范围:0~7200。 单位:秒。 默认配置为1800。 配置为“0”表示DIS服务不会在转储失败时进行重试。
-
转储至DWS - 数据接入服务 DIS
- 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 容错选项 通过单击或来关闭或开启容错选项开关。
-
使用设备接入IoTDA写入数据至DIS - 数据接入服务 DIS
通过添加数据转发规则,您可以将IoTDA配置为向DIS通道发送信息。 创建数据转发向DIS通道发送消息 登录华为云官方网站,访问设备接入服务。 单击“立即使用”进入设备接入控制台。 进入“规则”页面,单击页面右上角的“创建规则”,选择“数据转发”。
-
查询转储任务详情 - 数据接入服务 DIS
重试时间超过该配置项配置的值,则将转储失败的数据备份至“OBS桶/ file_prefix/mrs_error”目录下。 取值范围:0~7200。 单位:秒。 默认配置为1800。 配置为“0”表示DIS服务不会在转储失败时进行重试。
-
添加CloudTable转储任务 - 数据接入服务 DIS
默认配置为1800。
-
管理企业项目 - 数据接入服务 DIS
区别于管理控制台上独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。 已开通企业项目服务的用户,可以使用企业项目管理华为云上的云服务资源。
-
下载流式数据 - 数据接入服务 DIS
= "0"; //配置时间戳 long timestamp = 1542960693804L; // 配置下载数据方式 // AT_TIMESTAMP: 从特定时间戳(即timestamp定义的时间戳)开始读取。
-
DIS SDK能做什么 - 数据接入服务 DIS
云服务实现了在多地域部署基础设施,具备高度的可扩展性和可靠性,用户可根据自身需要指定地域使用DIS服务,由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。
-
与原生KafkaConsumer接口适配说明 - 数据接入服务 DIS
auto.offset.reset 参数 支持 同Kafka的默认配置,默认为latest。
-
与原生KafkaConsumer接口适配说明 - 数据接入服务 DIS
auto.offset.reset 参数 支持 同Kafka的默认配置,默认为latest。
-
添加DWS转储任务 - 数据接入服务 DIS
取值范围:长度不超过64位,且不可配置为空。