检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TRIM_HORIZON这种下载方式。那么用户可下载的数据将从A2开始读取。- LATEST：从分区中的最新记录开始读取，此设置可以保证你总是读到分区中最新记录。- AT_TIMESTAMP：从特定时间戳（即timestamp定义的时间戳）开始读取。 枚举值： AT_SEQUENCE_NUMBER
前提条件 已安装PuTTY工具。 安装logstash-input-dis 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 执行安装命令。 bin/logstash-plugin install
新增转储任务 将数据发送到DIS通道后，通过为通道添加转储任务，数据将自动传输到您选择的目标。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择通道管理。 单击需要查看的通道名称，进入所选通道的管理页面，选择“转储管理”页签。也可选中待
验证DIS Logstash Plugin 验证DIS Logstash Input 使用PuTTY工具远程登录Logstash所在服务器。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS
"Altitude":"null"} 本实践中，通过使用HBase shell客户端完成建表操作。 准备Linux弹性云服务器。假设该弹性云服务器名称为“ecs-385d”，具体操作请参见准备弹性云服务器。 安装客户端并启动Shell访问CloudTable集群，具体操作请参见使用HBaseShell访问集群。
卸载DIS Logstash Plugin(可选) 操作步骤 使用PuTTY工具远程登录Logstash所在服务器。 停止Logstash程序。 进入DIS Logstash Plugins插件所在的目录。 cd ${LOGSTASH_HOME} cd logstash-plugins
卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在服务器。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix
ss Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 获取项目ID和账号ID 项目ID表示租户的资源，账号ID对应当前账号，IA
监控起始位置。 END_OF_FILE：开始启动时不解析当前匹配的文件，而是从新增文件或新增的内容开始按分隔符解析并上传。 START_OF_FILE：将“filePattern”配置的所有匹配文件按照修改时间，从旧到新按分隔符解析并上传到DIS服务。 START_OF_FILE maxBufferAgeMillis
projectId 是 用户所属区域的项目ID。 获取方式请参见检查认证信息。 请根据实际情况配置 endpoint 是 DIS对应Region的数据接口地址。 请根据实际情况配置 group.id 是 DIS App名称，用于标识一个消费组，由英文字符、数字、-、_组成。 请根据实际情况配置 配置DIS
监控起始位置。 END_OF_FILE：开始启动时不解析当前匹配的文件，而是从新增文件或新增的内容开始按分隔符解析并上传。 START_OF_FILE：将“filePattern”配置的所有匹配文件按照修改时间，从旧到新按分隔符解析并上传到DIS服务。 START_OF_FILE maxBufferAgeMillis
启用时，自动缩容的最小分片数，比如这个示例中当分区数量为2时，不会再触发自动缩容。 auto_scale_max_partition_count：当自动扩缩容启用时，自动扩容的最大分片数，比如这个示例中当分区数量为10时，不会再触发自动扩容。 请求响应成功后，返回201 Created，表示通道创建成功。
安装Plugin 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Flume服务器。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。
离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 上传“dis-logstash-plugins-X.X.X
5MB/秒、且下载流量低于3MB/秒时，触发自动缩容操作，目标分区数为5/2=2.5，向下取整后为2。 自动扩缩容规则 自动扩缩容间隔时间大于1分钟，且发生扩容（含自动扩容和手工扩容）后2分钟内，不触发自动缩容。发生缩容（包含手动缩容和自动缩容）后的2分钟内，不触发自动扩容。 扩容分区时，首先将状
ets；另外一个参数enable.auto.commit，设置为true会自动每隔5000ms(可通过设置auto.commit.interval.ms修改)提交一次offset，设置为false则不自动提交，用户可以手动调用commitAsync提交，参见示例代码中如下部分 stream
开通DIS服务。 使用DIS服务之前必须先充值，才能正常使用DIS服务。 登录DIS管理控制台。 单击页面右上角的“费用”。 单击“充值”，系统自动跳转到充值窗口。 根据界面提示信息，对账户进行充值。 充值成功后，关闭充值窗口，返回管理控制台首页。 单击“数据接入服务”，开通服务。 创建访问密钥。
主要模块 DIS分为4个功能模块，各模块功能如下： 服务控制面 完成服务的开通、删除、配置操作，并将用户信息同步到数据面。 完成数据面资源的申请与自动部署。 服务数据面 接收用户发送数据的请求，对已鉴权的数据接收并存储。 接收用户获取数据的请求，在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。
验证Plugin 验证DIS Source 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis source的配置文件 可基于Flume自带的flume-conf.properties.template修改，文件样例如下所示： agent.sources =
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
