-
离线安装DIS Logstash Plugin - 数据接入服务 DIS
安装完成后,显示类似如下内容,表示安装成功。 Install dis-logstash-plugins successfully. 父主题: 使用DIS Logstash Plugin上传与下载数据
-
安装DIS Logstash Plugin前准备 - 数据接入服务 DIS
myhuaweicloud.com/获取“dis-logstash-Plugin-X.X.X.zip”压缩包。 父主题: 使用DIS Logstash Plugin上传与下载数据
-
安装DIS Flume Plugin前准备 - 数据接入服务 DIS
获取DIS Flume Plugin包 这里获取“dis-flume-Plugin-X.X.X.zip”压缩包。 父主题: 使用DIS Flume Plugin上传与下载数据
-
查看监控指标 - 数据接入服务 DIS
云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,云监控显示的是当前时间5~10分钟前的状态。如果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。 前提条件 数据接入服务通道正常运行。
-
准备DIS Spark Streaming的相关环境 - 数据接入服务 DIS
ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题: 使用DIS Spark Streaming下载数据
-
自定义SparkStreaming作业 - 数据接入服务 DIS
startingOffsets为读取DIS数据的起始位置,LATEST表示从最新的数据开始读取;EARLIEST表示从最旧的数据开始读取;如果要指定每个分区的精确起始位置,则可以写为json字符串,例如{"0":23,"1":-1,"2":-2}表示第0分区起始位置是23,第1分区从最新数据的位置开始,第2
-
使用DIS - 数据接入服务 DIS
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
-
获取数据游标 - 数据接入服务 DIS
获取数据游标 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: partitionId="shardId-0000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下: # startSeq与AT_S
-
使用SDK - 数据接入服务 DIS
使用SDK 使用SDK(Java) 使用Kafka Adapter上传与下载数据 使用SDK(Python)
-
权限管理 - 数据接入服务 DIS
上传下载数据。 无 DIS User 系统角色 通道使用权限,拥有使用通道上传下载数据的权限,但不能管理通道。 无 表2列出了数据接入服务 (Data Ingestion Service)常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系
-
修订记录 - 数据接入服务 DIS
DIS服务端错误码 Uquery更名为数据湖探索(DLI,Data Lake Insight)。 2018-02-08 第三次正式发布。 新增了如下内容: 创建通道 删除通道 查询通道列表 查询通道详情 获取数据游标 修改了如下内容: 上传流式数据 下载流式数据 2017-11-18 第二次正式发布。
-
查询通道监控 - 数据接入服务 DIS
Metrics object 数据对象。 metrics_list Array of Metrics objects 监控数据对象列表。 表5 Metrics 参数 参数类型 描述 dataPoints Array of DataPoint objects 监控数据。 label String
-
查询分区监控 - 数据接入服务 DIS
shardId-0000000002 表2 Query参数 参数 是否必选 参数类型 描述 label 否 String 分区监控指标。(label与label_list必须二选一,label_list与label同时存在时,以label_list为准) total_put_bytes_per_partition:分区总输入流量(Byte)
-
添加CloudTable转储任务 - 数据接入服务 DIS
存储该通道数据的HBase表数据的列族名称。 column_name 是 String 存储该通道数据的HBase表数据的列名称。 取值范围:1~32,只能包含英文字母、数字和下划线。 value 是 String 通道内JSON数据的JSON属性名,用于生成HBase数据的列值。
-
认证鉴权 - 数据接入服务 DIS
从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
-
获取数据游标 - 数据接入服务 DIS
序列号。序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecords操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。序列号与游标类型AT_SEQUENCE_NUMBER和
-
配置DIS Agent - 数据接入服务 DIS
DIS数据包上传格式。(非原始数据格式) json:DIS数据包封装为json格式,满足普通使用。 protobuf:DIS数据包封装为二进制格式,可以减少体积约1/3,在数据量较大的情况下推荐使用此格式。 json body.compress.enabled 否 是否开启传输数据压缩。 false body
-
弹性伸缩分区 - 数据接入服务 DIS
进行弹性伸缩分区后,有如下注意事项: 上传数据时,不建议设置数据的PartitionKey,DIS会自动根据通道分区的数量将数据均匀散列到多个分片中。如果设置数据的PartitionKey,可能会导致数据倾斜,产生通道限流。 下载数据时,需要定期的使用descriptStrea
-
查看通道监控信息 - 数据接入服务 DIS
查看通道监控信息 用户可以通过控制台查看通道的监控信息,支持按照App维度监控App在通道中消费的数据信息。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看监控信息的通道名称,进入监控页面。 根据实际情况在
-
权限策略及授权项 - 数据接入服务 DIS
te √ √ 上传数据 POST /v2/{project_id}/records dis:records:write √ √ 获取数据游标 GET /v2/{project_id}/cursors dis:records:readCursor √ √ 下载数据 GET /v2/