检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 该Checkpoint所属的通道名称。 partition_id 是 String 该Checkpoint所属的通道分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000
表5 PartitionConsumingStates 参数 参数类型 描述 partition_id String 通道的分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000
授权用户ID。 principal_name String 授权用户名。如果授权给租户下的所有子用户,格式为:domainName.*;如果授权给租户下的指定子用户,则格式为:domainName.userName action_type String 授权操作类型。 putRecords:上传数据。
卸载DIS Logstash Plugin(可选) 操作步骤 使用PuTTY工具远程登录Logstash所在服务器。 停止Logstash程序。 进入DIS Logstash Plugins插件所在的目录。 cd ${LOGSTASH_HOME} cd logstash-plugins
卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在服务器。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix
String 从该分区值开始返回分区列表,返回的分区列表不包括此分区。 必须将“start_partitionId”的值设置为“shardId-0000000xxx”格式,xxx为要查询的通道分区Id。 limit_partitions 否 Integer 单次请求返回的最大分区数。 最小值:1
单位:秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。
变更分区数量 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 streamname = "" #已存在的running状态通道名 target_partition_count =”3” #变更后的数量值 配置好以上参数,执行change
变更分区数量 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 1
修改创建通道时已设置的源数据类型。或者选择待修改源数据类型通道对应的操作列,选择“更多 > 变更源数据类型”,弹出变更源数据类型对话框,修改创建通道时已设置的源数据类型。 “源数据类型”为“BLOB”、“JSON”、“CSV”的通道,当该通道无转储任务 , 才可修改源数据类型。
从该通道开始返回通道列表,返回的通道列表不包括此通道名称。如果需要分页查询,第一页查询时不传该字段。返回结果has_more_streams为true时,进行下一页查询,start_stream_name传入第一页查询结果的最后一条通道名称。 请求参数 表3 请求Header参数 参数
安装Plugin 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Flume服务器。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。
取值范围:任意一个字符,且包含在双引号内。 取值不可为空,即该配置项不可配置为“”。 说明: 如果取值为特殊字符,使用反斜杠(\)转义,如分隔符为引号("),可配置为"\"",如果为反斜杠(\),可配置为"\\"。 如果为控制字符如STX(正文开始),可配置为"\u0002"。 "\n" isRemainRecordDelimiter
显示的是当前时间5~10分钟前的状态。如果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。 前提条件 数据接入服务通道正常运行。 已删除的通道,云监控将默认该通道不存在,并在监控列表中删除,不再对其进行监控,但告警规则需要用户手动清理。 已在云监控页面设置告警规则,具体操作请参见设置告警规则。
离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 上传“dis-logstash-plugins-X.X.X
请求示例 查询App列表 GET https://{Endpoint}/v2/{project_id}/apps 响应示例 状态码: 200 正常返回 { "total_number" : 1, "apps" : [ { "app_id" : "bd6IPpvgiIflQPMpi9M"
GET https://{Endpoint}/v2/{project_id}/apps/{app_name} 响应示例 状态码: 200 正常返回 { "app_id" : "bd6IPpvgiIflQPMpi9M", "app_name" : "newstream",
"Altitude":"null"} 本实践中,通过使用HBase shell客户端完成建表操作。 准备Linux弹性云服务器。假设该弹性云服务器名称为“ecs-385d”,具体操作请参见准备弹性云服务器。 安装客户端并启动Shell访问CloudTable集群,具体操作请参见使用HBaseShell访问集群。
https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks 响应示例 状态码: 200 正常返回 { "tasks" : [ { "task_id" : "As805BudhcH1lDs6gbn", "destination_type"
数据存储在DIS和转储其他资源有什么区别? DIS如何发送和接收数据 ? 更多 转储相关问题 DIS如何实现转储数据至DWS的特定列 Schema如何支持字段缺省或者为NULL 云服务器卡顿 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 更多 Ping不通 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析