检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下:
bodySerializeType='protobuf') 配置参数如下: 1 streamname="dis-test1" #已存在的通道名 参照该文件中的test方法,bodySerializeType="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
配置DIS Agent DIS Agent配置文件格式为“YAML”,各配置项与值之间必须以英文格式的“冒号+空格”形式分隔。 agent.yml文件模板可从“dis-agent”压缩包中获取,内容示例如下。具体配置项说明请参见表1。 --- # cloud region id region:
单位:秒。 默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON,CSV,转储至OBS(对应转储文件格式Parquet)时需要配置的差异化参数,共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明
当“dataEncryptEnabled”配置项配置为“false”时无需配置“dataPassword”。 请根据实际情况配置 bodySerializeType 否 DIS数据包上传格式(非原始数据格式)。 json:DIS数据包封装为json格式,满足普通使用。 protobuf:
- 源数据类型JSON/CSV==>转储文件格式Parquet 表2罗列了源数据类型为JSON,CSV,转储至MRS(对应转储文件格式Parquet)时需要配置的差异化参数,共性参数的配置请参见表1。 表2 转储Parquet格式文件的配置参数 参数 说明 取值 源数据Schema
程的存储位置,勾选样例工程,如图1所示。 图1 Import Maven Projects 单击“Finish”完成项目导入。 配置Demo工程。 配置项目编码为“UTF-8”。 在左侧导航栏“Project Explorer”中右键单击所需工程,选择“Properties ”,进入“Properties
s \dis_sdk_python”样例工程的存储位置。(安装之后若未找到dis_sdk_python,请尝试升级pip,或者安装huaweicloud-python-sdk-dis): 单击“OK”完成项目导入。 配置sdk_python工程。 在左侧导航栏中选择“File >
NS服务器地址之前。 DNS配置操作在保存“/etc/resolv.conf”文件的修改操作后立即生效。 对“/etc/resolv.conf”文件的修改操作在弹性云服务器重启后会失效,需要重新进行配置。如果用户不希望每次重启弹性云服务器后都重新配置DNS,可以按如下步骤修改虚拟
配置DIS Logstash Plugin DIS Logstash Plugins 分为Input与Output插件,本节介绍插件的各个配置项具体含义。 配置DIS Logstash Input 配置模板如下:(该模板为从DIS通道下载数据写入本地文件) input { dis
Access)是华为云的物联网平台,提供海量设备连接上云、设备和云端双向消息通信、批量设备管理、远程控制和监控、OTA升级、设备联动规则等能力,并可将设备数据灵活流转到华为云数据接入服务(DIS),帮助物联网行业用户快速完成设备联网及行业应用集成。 通过添加数据转发规则,您可以将IoTDA配置为向DIS通道发送信息。
schema。例如: 文本框中单击“格式化”,可格式化解析数据。例如: 文本框中单击,可删除源数据样例。 创建源数据Schema(直接创建方式) 找到创建源数据Schema入口后,按照如下方法创建源数据Schema: 单击“源数据Schema”后的“直接创建”。 配置“属性名”和“数据类型”
源数据Schema作为通道下特定转储任务进行数据转换的依据,如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema,也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。