检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下：
ype="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下： 1 2 3 4 records=[{"data":
下载流式数据 Json格式下载 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 3 streamname = "" #通道名称 startSeq='0’ #序列号 partitionId="shardId-0000000000"
Timestamp类型表示通道内用户数据对应JSON属性的取值为Timestamp类型，不需要进行数据格式转换就可以生成OpenTSDB的timestamp。- String类型表示通道内用户数据对应JSON属性的取值为Date格式，需要进行数据格式转换才能生成OpenTSDB的timestamp。 value 是
时间戳格式为“yyyy/MM/dd HH:mm:ss”。 因数据转储成功后，存储的目录结构取决于源数据的时间戳和时间目录格式定义的年月日层级。本示例中，时间目录格式精确到日，所以数据最终存储目录结构为“桶名称/转储文件目录/2018/10/07”。 示例3：转储CSV格式的数据。
资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Regio
String 转储文件格式。 text：转储目标格式为TEXT，缺省值 parquet：转储目标格式为Parquet carbon：转储目标格式为Carbon 说明： “源数据类型”为“JSON”，“转储服务类型”为“OBS”时才可选择“parquet”或“carbon”格式。 缺省值：text
查看转储日志”，查看该通道的转储详情。转储参数说明如表1所示。 表1 DIS转储日志参数说明 参数 说明 开始时间 用户转储日志开始构建的时间。 格式：YYYY/MM/dd HH:mm:ss GTM YYYY：表示年份 MM：表示月份 dd：表示日期 HH：表示小时 mm：表示分钟 ss：表示秒
配置为空时，数据直接存储在OBS桶内。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表2罗列了源数据类型为JSON，CSV，转储至MRS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表2 转储Parquet格式文件的配置参数 参数 说明 取值 源数据Schema
bodySerializeType 否 DIS数据包上传格式(非原始数据格式)。 json：DIS数据包封装为json格式，满足普通使用。 protobuf：DIS数据包封装为二进制格式，可以减少体积约1/3，在数据量较大的情况下推荐使用此格式。 json 父主题： 使用DIS Flume
源数据Schema，即用户的JSON或CSV数据样例，用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet或CarbonData格式。 创建源数据Schema有如下三个入口： 创建通道同时开启“
可选择创建数据Schema。 源数据Schema 支持输入和导入源数据样例，源数据样例格式为JSON或者CSV，详细操作请参见管理源数据Schema。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。 在左侧文本框中单击，可删除左侧文本框中已输入或导入的源数据样例。
String 通道唯一标识符。 principal_name 是 String 授权用户。 如果授权给指定租户，格式为：domainName.*；如果授权给租户下的指定子用户，则格式为：domainName.userName； 支持多账号添加，用","隔开，比如：domainName1.userName1
可选择创建数据Schema。 源数据Schema 支持输入和导入源数据样例，源数据样例格式为JSON或者CSV，详细操作请参见管理源数据Schema。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。 在左侧文本框中单击，可删除左侧文本框中已输入或导入的源数据样例。
String 转储文件格式。 text：转储目标格式为TEXT，缺省值 parquet：转储目标格式为Parquet carbon：转储目标格式为Carbon 说明： “源数据类型”为“JSON”，“转储服务类型”为“OBS”时才可选择“parquet”或“carbon”格式。 缺省值：text
y2”这两个属性的通道。 data_type：指定源数据的类型，“JSON”表示分区中的数据格式为JSON格式。 data_schema：源数据Schema，用于描述JSON、CSV格式的源数据结构，采用Avro Schema的语法描述。 请求响应成功后，返回201 Created，表示通道创建成功。
指定本次数据导入过程中每个DN实例上允许出现的数据格式错误的数量，如果有一个DN实例上的错误数量大于设定值，本次导入失败，报错退出。 取值范围：整型值，unlimited（无限），缺省值为0，有错误信息立即返回。 说明： 此语法指定的是单个节点的错误容忍度。 数据格式错误是指缺少或者多出字段值，数据
“/”进行分隔，不能以“/”开头。 取值范围：0~50个字符。 默认配置为空。 - 时间目录格式 数据将存储在OBS桶中转储文件目录下，按时间格式作为层级的目录中。 当选择的时间目录格式精确到日时，存储目录为“桶名称/转储文件目录/年/月/日”。 取值范围： N/A：置空，不使用日期时间目录。
DIS数据网关地址。 格式：https://DIS终端节点。 说明： 获取DIS终端节点请参见终端节点及区域说明。 https://dis.cn-north-1.myhuaweicloud.com body.serialize.type 否 DIS数据包上传格式。（非原始数据格式） json
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
