检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件，并采集上传到云上，进行离线分析、存储查询及机器学习，对客户进行分类和信息查询，识别出大型客户，加强服务，进一步提升客户满意度。 图2 场景示例图 数据接入备份 将大量滚动日志文件传输到云端
管理通道标签 标签是通道的标识。为通道添加标签，可以方便用户识别和管理拥有的通道资源。 您可以在创建通道时添加标签，也可以在通道创建完成后，在通道的详情页添加标签，您最多可以给通道添加10个标签。 标签共由两部分组成：“标签键”和“标签值”，其中，“标签键”和“标签值”的命名规则如表1所示。
管理源数据Schema。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。 在左侧文本框中单击，可删除左侧文本框中已输入或导入的源数据样例。 在左侧文本框中单击，可在右侧文本框中根据源数据样例生成Avro schema。 在右侧文本框中单击，可删除已生成的Avro
管理源数据Schema。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。 在左侧文本框中单击，可删除左侧文本框中已输入或导入的源数据样例。 在左侧文本框中单击，可在右侧文本框中根据源数据样例生成Avro schema。 在右侧文本框中单击，可删除已生成的Avro
管理源数据Schema。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。 在左侧文本框中单击，可删除左侧文本框中已输入或导入的源数据样例。 在左侧文本框中单击，可在右侧文本框中根据源数据样例生成Avro schema。 在右侧文本框中单击，可删除已生成的Avro
图说ECS 立即使用 成长地图 由浅入深，带您玩转DIS 01 了解 了解华为云DIS的产品架构、功能和基础知识，有助于您更准确地匹配实际业务，让数据上云变得更简单、更方便。 产品介绍 什么是DIS DIS功能介绍 DIS应用场景 DIS基本概念 03 入门 指导用户通过DIS Agent采集数据并上传数据至DIS。
通道列表中可查看当前用户的已创建的所有通道信息。通道信息包括： 名称/ID：用户发送或者接收数据时，需要指定通道名称，通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。 状态：通道的运行状态。 通道类型：普通和高级。 普通通道单分区容量：最高发送速度可达
interval.ms", "5000");// 设置偏移量提交时间间隔 手动提交 在有些场景可能对消费偏移量有更精确的管理，以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理，或者用于其他网络访问请求等等复杂的业务处理，在这种场景下，所有的业务处理完成后才
IAM用户授权流程 创建用户组并授权 在IAM控制台创建用户组，并授予数据接入服务的通道管理权限“DIS Operator”。 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择“
interval.ms", "5000");// 设置偏移量提交时间间隔 手动提交 在有些场景可能对消费偏移量有更精确的管理，以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理，或者用于其他网络访问请求等等复杂的业务处理，在这种场景下，所有的业务处理完成后才
询指定车辆在指定时间段的车辆位置。 图1 业务流程图 本次实践基本流程如下所示： 申请CloudTable集群 在CloudTable中创建数据表 申请DIS通道 添加转储任务 获取认证信息 准备DIS应用开发环境 编写发送数据到DIS的应用程序 启动数据上传程序 在CloudTable中查看上传数据
Window”，在新窗口打开此工程。 在pom.xml上单击右键，选择“Maven > Reimport”，重新引入maven依赖库。 验证Flink Streaming Source作业 实际场景中，Flink Streaming作业需要提交在Flink集群上运行，但本次验证只
- 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。 配置为空时，数据直接存储在OBS桶内。 - 容错选项 通过单击或来关闭或开启容错选项开关。
是否必选 参数类型 描述 task_name 是 String 转储任务的名称。 任务名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。 agency_name 是 String 在统一身份认证服务(IAM)中创建委托的名称，DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下：-
commitAsync(offsetRanges) } 验证sparkStreaming作业 实际场景中，SparkStreming作业需要提交在Spark集群上运行，但本次验证只介绍在本地IDE上测试，目的是了解sdk基本使用方法。测试完成后用户可自行创建集群（如MRS集群）并提交作业验证。 使用注册账户登录DIS控制台。
t 参数 参数类型 描述 task_name String 转储任务的名称。 任务名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。 agency_name String 在统一身份认证服务(IAM)中创建委托的名称，DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下：-
me-conf.properties.template，其中{FLUME_HOME}是Flume的安装路径，用户可以基于此配置文件修改。 在配置项中，需要配置用户的SK，这属于敏感信息，如需加密，可以按如下步骤： 进入dis-flume-plugin/目录 cd /dis-flume-plugin
”最新版本压缩包中提供了SDK源码；DIS SDK桶中的“huaweicloud-sdk-dis-java-X.X.X.zip ”最新版本压缩包提供了示例工程，您可以在本地设备上使用开发工具（如Eclipse）编译运行示例工程，或以示例工程为基础开发您的应用。示例工程代码路径：“\dis-sdk-demo\sr
是否必选 参数类型 描述 task_name 是 String 转储任务的名称。 任务名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。 agency_name 是 String 在统一身份认证服务(IAM)中创建委托的名称，DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下：-
道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。 - DLI数据库 单击“选择”，在“选择DLI数据库”窗口选择一个数据库。 此配置项仅支持选择，不可手动输入。 - DLI数据表 单击“选择”，在“选择DLI数据表”窗口选择一个数据表
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
