检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 正常返回 错误码 请参见错误码。 父主题: 通道管理
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 正常返回 错误码 请参见错误码。 父主题: 转储任务管理
项目隔离模型 Checkpoint 消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。 APP 应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用APP作为标识。 父主题: 使用前必读
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 正常返回 错误码 请参见错误码。 父主题: 标签管理
操作系统相关 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境 步骤2:准备应用运行环境 步骤2:准备应用运行环境 步骤2:准备应用运行环境 更多 磁盘相关 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境
API说明 通道管理 App管理 Checkpoint管理 数据管理 转储任务管理 监控管理 标签管理
Checkpoint:消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。 APP:应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用APP作为标识。
DIS SDK能做什么 DIS概述 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
管理通道 通道列表简介 查看通道监控信息 变更源数据类型 管理源数据Schema 管理通道标签 管理App 授权管理 调试通道 弹性伸缩分区 删除通道
验证DIS Logstash Plugin 验证DIS Logstash Input 使用PuTTY工具远程登录Logstash所在服务器。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS
AT_TIMESTAMP:从特定时间戳(即timestamp定义的时间戳)开始读取。 运行程序 右键选择“Run As > 1 Java Application”运行程序,若程序运行成功,可以在控制台查看到类似如下信息: 1 2 3 4 5 6 7 14:55:42.954 [main]
下线CloudTable转储任务。 2021-01-08 第三十三次正式发布 新增应用示例场景,规范化发布API说明和错误码。 2020-07-03 第三十二次正式发布 新增错误码,修改错误码说明。 2020-05-09 第三十一次正式发布。 支持按照App查看监控信息,修改下载数据。
"YOUR_Region" project_id => "YOUR_PROJECT_ID" group_id => "YOUR_APP_ID" client_id => "YOUR_CLIENT_ID" auto_offset_reset =>
卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在服务器。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix
卸载DIS Logstash Plugin(可选) 操作步骤 使用PuTTY工具远程登录Logstash所在服务器。 停止Logstash程序。 进入DIS Logstash Plugins插件所在的目录。 cd ${LOGSTASH_HOME} cd logstash-plugins
配置样例工程 2018-07-23 第七次正式发布。 修改文档结构和名称。 2018-07-10 第六次正式发布。 新增了如下内容: 创建APP 删除APP 查询Checkpoint 变更分区数量 2018-06-12 第五次正式发布。 修改了如下内容: 开通DIS服务 DIS服务端错误码
code.test.com:443 Content-Type 发送的实体的MIME类型。推荐用户默认使用application/json,有其他取值时会在具体接口中专门说明。 是 application/json Content-Length 请求body长度,单位为Byte。 否 3495
"partition_id": partition_id} #可写入多条数据,数据格式如record1所示,每写一条数据使用下面的append方法传入records中。 配置好以上参数后,执行putRecords_sample.py文件调用putRecords_test方法,响应结果如下:
delimiter compression_format 否 String 数据的压缩类型,目前支持: snappy gzip zip 默认不压缩。 枚举值: snappy gzip zip tags 否 Array of Tag objects 通道标签列表。 sys_tags
启动DIS Agent Linux服务器上启动DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。其中“x.x.x”表示版本号。 cd /opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent