检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Logstash Input 使用PuTTY工具远程登录Logstash所在服务器。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS Logstash Input下载数据是否正常。 向
启动DIS Agent Linux服务器上启动DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。其中“x.x.x”表示版本号。 cd /opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent
批量添加资源标签 功能介绍 该接口用于批量添加资源(通道等)标签。此接口为幂等接口:创建时如果请求体中存在重复key则报错。创建时,不允许设置重复key数据,如果数据库已存在该key,就覆盖value的值。 调用方法 请参见如何调用API。 URI POST /v2/{proje
"Altitude":"null"} 本实践中,通过使用HBase shell客户端完成建表操作。 准备Linux弹性云服务器。假设该弹性云服务器名称为“ecs-385d”,具体操作请参见准备弹性云服务器。 安装客户端并启动Shell访问CloudTable集群,具体操作请参见使用HBaseShell访问集群。
取值范围:30~900。 单位:秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。
用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 容错选项 通过单击或来关闭或开启容错选项开关。 fill_missing_fields
查看。 compression_format String 数据的压缩类型,目前支持: snappy gzip zip 默认不压缩。 枚举值: snappy gzip zip csv_properties CSVProperties object CSV 格式数据的相关属性,比如分隔符
下一个迭代器。 说明: 数据游标有效期为5分钟。 表5 Record 参数 参数类型 描述 partition_key String 用户上传数据时设置的partition_key。说明:上传数据时,如果传了partition_key参数,则下载数据时可返回此参数。如果上传数据时,未传pa
功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo
功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo
delimiter compression_format 否 String 数据的压缩类型,目前支持: snappy gzip zip 默认不压缩。 枚举值: snappy gzip zip tags 否 Array of Tag objects 通道标签列表。 sys_tags 否 Array
使用“WinSCP”工具将“huaweicloud-sdk-dis-x.x.x.zip”上传至Linux系统任一目录。 x.x.x表示DIS SDK包的版本号。 使用“PuTTY”工具登录Linux系统,进入到“huaweicloud-sdk-dis-x.x.x.zip”所在目录,执行如下命令,获取DIS SDK压缩包的校验码。
PROXY_HOST 否 配置代理IP,请求走代理服务器的需要配置。 请根据实际情况配置 PROXY_PORT 否 配置代理端口。 80 PROXY_PROTOCOL 否 配置代理协议。支持http和https。 http PROXY_USERNAME 否 配置代理用户名。 请根据实际情况配置 PROXY_PASSWORD
需要变更分区数量的通道名称。 最大长度:64 target_partition_count 是 Integer 变更的目标分区数量。 取值为大于0的整数。 设置的值大于当前分区数量表示扩容,小于当前分区数量表示缩容。 注意: 每个通道在一小时内扩容和缩容总次数最多5次,且一小时内扩容或缩容操作有一
当使用stream_name没有找到对应通道且stream_id不为空时,会使用stream_id去查找通道。 说明: 上传数据到被授权的通道时,必须配置此参数。 records 是 Array of PutRecordsRequestEntry objects 待上传的记录列表。 表4 P
2/{project_id}/apps/{app_name} 响应示例 状态码: 200 正常返回 { "app_id" : "bd6IPpvgiIflQPMpi9M", "app_name" : "newstream", "create_time" : 1593569685875
数据,并选择了TRIM_HORIZON这种下载方式。那么用户可下载的数据将从A2开始读取。- LATEST:从分区中的最新记录开始读取,此设置可以保证你总是读到分区中最新记录。- AT_TIMESTAMP:从特定时间戳(即timestamp定义的时间戳)开始读取。 枚举值: AT_SEQUENCE_NUMBER
ken的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 stream_id 是 String 通道唯一标识符。 principal_name 是 String 授权用户。 如果授权给指定租户,格式为:domainName.*;如果授权给租户下的指定子用户,则格式为:domainName
通道唯一标识符。 rules Array of PrincipalRule objects 通道授权信息列表。 表4 PrincipalRule 参数 参数类型 描述 principal String 授权用户ID。 principal_name String 授权用户名。如果授权给租
Flink Connector Demo 这里获取“dis-flink-connector-X.X.X.zip”压缩包。解压“dis-flink-connector-X.X.X.zip”压缩包,解压之后获得以下目录: “huaweicloud-dis-flink-connector-d