检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Streaming Demo 这里获取“dis-spark-streaming-X.X.X.zip”压缩包。解压“dis-spark-streaming-X.X.X.zip”压缩包，解压之后获得以下目录： “dis-spark-streaming-demo”目录包含一个Maven工程样例。
开通DIS服务 注册云服务账号。 开通DIS服务。 使用DIS服务之前必须先充值，才能正常使用DIS服务。 登录DIS管理控制台。 单击页面右上角的“费用”。 单击“充值”，系统自动跳转到充值窗口。 根据界面提示信息，对账户进行充值。 充值成功后，关闭充值窗口，返回管理控制台首页。
步骤1：开通DIS通道 用户可以基于云管理平台Web界面开通DIS通道。 前提条件 使用DIS前需要注册公有云账户，再开通DIS。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数
枚举值： DWS dws_destination_descriptor 否 DWSDestinationDescriptorRequest object 转储目的地为DWS的参数列表。 表4 DWSDestinationDescriptorRequest 参数 是否必选 参数类型 描述 task_name
bash bin/start-dis-agent.sh 如果需要启动多个DIS Agent进程，则新启的Agent进程需要通过-c指定配置文件以及-n参数指定名称。 bash bin/start-dis-agent.sh -c config/anotherAgent.yml -n anotherAgent
通道名称：租户创建的逻辑单位，用以区分不同租户实时数据的集合，创建通道时指定。在用户发送或者接收实时数据时，需要指定通道名称。 分区数：分区（Partition）是DIS数据通道的基本吞吐量单位。创建数据通道时，您将指定所需的分区数量。 记录：记录（Record）是存储在DIS通道中的
查询通道列表 功能介绍 本接口用户查询当前租户创建的所有通道。 查询时，需要指定从哪个通道开始返回通道列表和单次请求需要返回的最大数量。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams 表1 路径参数 参数 是否必选 参数类型 描述
-version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby版本。 $ bin/jruby -v 检查DIS通道 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择“通道管理”。 确认有通道用于数据上传且通道状态为“运行中”。
OBSDestinationDescriptorRequest obsDestinationDescriptorbody = new OBSDestinationDescriptorRequest(); obsDestinationDescriptorbody.withTaskName("newtask")
obs_destination_description OBSDestinationDescriptorRequest object 转储目的地为OBS的参数列表。 dws_destination_descripton DWSDestinationDescriptorRequest object
枚举值： DLI dli_destination_descriptor 否 DliDestinationDescriptorRequest object 转储目的地为DLI的参数列表。 表4 DliDestinationDescriptorRequest 参数 是否必选 参数类型 描述 task_name
实例，实例名称为dic。 使用DIS SDK查询指定通道的转储任务列表。 1 2 3 4 ListTransferTasksRquest request = new ListTransferTasksRquest(); // 指定待查询的通道名称 request.setStreamName(streamName);
枚举值： MRS mrs_destination_descriptor 否 MRSDestinationDescriptorRequest object 转储目的地为MRS的参数列表。 表4 MRSDestinationDescriptorRequest 参数 是否必选 参数类型 描述 task_name
获取consumer消费的通道与分区信息 Set<String> subscription() 接口 支持 获取consumer已订阅的通道名称 void assign(Collection<TopicPartition> var1) 接口 支持 分配指定的分区 void subscribe(Collection<String>
获取consumer消费的通道与分区信息 Set<String> subscription() 接口 支持 获取consumer已订阅的通道名称 void assign(Collection<TopicPartition> var1) 接口 支持 分配指定的分区 void subscribe(Collection<String>
键入“:wq!”保存并退出“profile”文件。 执行如下命令，使JDK配置生效。 source /etc/profile 检查DIS通道 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择“通道管理”。 确认有通道用于数据上传且通道状态为“运行中”。
region 是 将数据上传到指定Region的DIS服务。 cn-north-1 project_id 是 用户所属区域的项目ID。 获取方式请参见检查认证信息。 请根据实际情况配置 client_id 否 客户端ID，用于标识消费组内的消费者。 起多个pipeline或者多个Log
查询通道详情 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK查询指定通道信息。 1 2 3 4 String streamName = "myStream"; DescribeStreamRequest describeStreamRequest
cn-east-2.dis。然后选择专线所在的VPC和子网即可。 图1 购买终端节点 创建终端节点成功之后，会自动分配节点IP，使用此节点IP访问DIS服务即可。 图2 查看节点IP 父主题： 转储相关问题
读取通道数据时，如何区分不同类型数据？ 不同类型的消息使用不同的通道； 使用同一个通道的不同分区。上传消息时，不同类型的消息指定不同的partition_key，消费时根据partition_key来区分不同类型消息。 父主题： 转储相关问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
