检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
富的接口，帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS 立即使用 成长地图 由浅入深，带您玩转DIS 01 了解 了解华为云DIS的产品架构、功能和基础知识，有助于您更准确地匹配实际业务，让数据上云变得更简单、更方便。 产品介绍 什么是DIS DIS功能介绍 DIS应用场景
shell客户端完成建表操作。 准备Linux弹性云服务器。假设该弹性云服务器名称为“ecs-385d”，具体操作请参见准备弹性云服务器。 安装客户端并启动Shell访问CloudTable集群，具体操作请参见使用HBaseShell访问集群。 在HBase shell客户端执行create
登录华为云官方网站，访问设备接入服务。 单击“立即使用”进入设备接入控制台。 进入“规则”页面，单击页面右上角的“创建规则”，选择“数据转发”。 设置转发目标，转发至服务选择“数据接入服务DIS”。 有关创建 IoTDA数据转发规则的更多信息，请参见 IoTDA数据转发规则。 父主题： 使用DIS
验证Plugin 验证DIS Source 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis source的配置文件 可基于Flume自带的flume-conf.properties.template修改，文件样例如下所示： agent.sources =
己控制偏移量的提交。 自动提交 在创建一个消费者时，默认是自动提交偏移量，默认的提交间隔是5000ms。使用自动提交相关参数设置如下： props.setProperty("enable.auto.commit", "true");// 显示设置偏移量自动提交 props.setProperty("auto
己控制偏移量的提交。 自动提交 在创建一个消费者时，默认是自动提交偏移量，默认的提交间隔是5000ms。使用自动提交相关参数设置如下： props.setProperty("enable.auto.commit", "true");// 显示设置偏移量自动提交 props.setProperty("auto
IAM用户授权流程 创建用户组并授权 在IAM控制台创建用户组，并授予数据接入服务的通道管理权限“DIS Operator”。 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择“
me-conf.properties.template，其中{FLUME_HOME}是Flume的安装路径，用户可以基于此配置文件修改。 在配置项中，需要配置用户的SK，这属于敏感信息，如需加密，可以按如下步骤： 进入dis-flume-plugin/目录 cd /dis-flume-plugin
使用注册账户登录DIS控制台。 单击“事件管理”。 在“事件管理”页面中单击“订阅 > 创建订阅”。 在“订阅设置”区域，设置订阅基本信息及事件过滤。 “订阅事件”区域显示系统根据订阅设置筛选出的事件。 表1 订阅参数 参数名 参数解释 启用消息通知 设置是否开启事件订阅。 表示开启事件订阅，
30146ms 在OBS查看上传文件 登录对象存储服务管理控制台。 在左侧导航栏选择“桶列表”页签。 在右侧表格中，“桶名称”列单击对应的桶名称，即申请DIS通道中配置的“桶名称”。 在弹出的桶页面中单击左侧导航栏“对象”页签，查看已上传的文件。 创建数据库 在Console页面
含义与kafka设置相同，但默认值为50(kafka是0)，目的是提高Rest接口的上传效率 batch.size 参数 支持 含义与kafka设置相同，但默认值为1MB(kafka是16KB)，目的是匹配流控的大小 buffer.memory 参数 支持 同kafka的默认设置(32MB)
含义与kafka设置相同，但默认值为50(kafka是0)，目的是提高Rest接口的上传效率 batch.size 参数 支持 含义与kafka设置相同，但默认值为1MB(kafka是16KB)，目的是匹配流控的大小 buffer.memory 参数 支持 同kafka的默认设置(32MB)
Window”，在新窗口打开此工程。 在pom.xml上单击右键，选择“Maven > Reimport”，重新引入maven依赖库。 验证Flink Streaming Source作业 实际场景中，Flink Streaming作业需要提交在Flink集群上运行，但本次验证只
- 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。 配置为空时，数据直接存储在OBS桶内。 - 容错选项 通过单击或来关闭或开启容错选项开关。
commitAsync(offsetRanges) } 验证sparkStreaming作业 实际场景中，SparkStreming作业需要提交在Spark集群上运行，但本次验证只介绍在本地IDE上测试，目的是了解sdk基本使用方法。测试完成后用户可自行创建集群（如MRS集群）并提交作业验证。 使用注册账户登录DIS控制台。
需要用户手动清理。 已在云监控页面设置告警规则，具体操作请参见设置告警规则。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看监控信息的通道名称。进入监控页面。 在“通道监控”页签内单击“查看更多指
配置通道名称：用户在数据接入服务(简称DIS)控制台创建通道 request.setStreamName(streamName); // 添加OBS转储任务，并设置任务名称 OBSDestinationDescriptorRequest descriptor = new OBSDestinationDescriptorRequest();
完成数据面资源的申请与自动部署。 服务数据面 接收用户发送数据的请求，对已鉴权的数据接收并存储。 接收用户获取数据的请求，在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。 根据用户配置，将用户数据存储到对象存储服务（Object Storage Service，简称OB
体源等）中连续捕获、传送和存储数TB数据。 云服务实现了在多地域部署基础设施，具备高度的可扩展性和可靠性，用户可根据自身需要指定地域使用DIS服务，由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署
// 认证用的ak和sk直接写到代码中有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
