检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加转储任务 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK创建转储任务,需要指定通道名称、转储任务名称,转储周期,转储目标服务等信息。 添加转储到对象存储服务(OBS)的转储任务 1 2 3 4 5 6 7 8 9
提交Checkpoint 功能介绍 本接口用于提交Checkpoint。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
基本概念 通道名称:租户创建的逻辑单位,用以区分不同租户实时数据的集合,创建通道时指定。在用户发送或者接收实时数据时,需要指定通道名称。 分区数:分区(Partition)是DIS数据通道的基本吞吐量单位。创建数据通道时,您将指定所需的分区数量。 记录:记录(Record)是存储
创建通道 功能介绍 本接口用于创建通道。 创建通道时,需指定通道类型(普通、高级)、分区数量。 一个账号默认最多可以创建10个高级通道分区和50个普通通道分区,可提交工单增加配额。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略,在创建DISKafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。 自动提交策略由消费者协调器(Coordinator)每隔${auto.commit.interval
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略,在创建DISKafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。 自动提交策略由消费者协调器(Coordinator)每隔${auto.commit.interval
查询Checkpoint详情 功能介绍 本接口用于查询Checkpoint详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
删除Checkpoint 功能介绍 本接口用于删除Checkpoint。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
查询通道列表 功能介绍 本接口用户查询当前租户创建的所有通道。 查询时,需要指定从哪个通道开始返回通道列表和单次请求需要返回的最大数量。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams 表1 路径参数 参数 是否必选 参数类型 描述
步骤1:开通DIS通道 用户可以基于云管理平台Web界面开通DIS通道。 前提条件 使用DIS前需要注册公有云账户,再开通DIS。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数
如何开通DIS通道? 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数 参数解释 参数示例 计费模式 按需计费 按需计费 区域 指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。 华北-北京1
步骤1:开通DIS通道 用户可以基于云管理平台Web界面开通DIS通道。 前提条件 使用DIS前需要注册公有云账户,再开通DIS。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数
查看通道详情 功能介绍 本接口用于查询指定通道的详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
转储至MRS 操作前提 转储至MRS时,不支持MRS集群3.x及以上版本,且MRS集群不能开启Kerberos认证。 源数据类型JSON/BLOB/CSV==>转储文件格式Text 表1 转储Text格式文件的配置参数 参数 说明 取值 任务名称 用户创建转储任务时,需要指定转储
新增Checkpoint 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 3 4 5 streamname = "" #通道名称 appName="xx" # APP名称(APP是已存在状态) partitionId="shardId-0000000000"
自定义SparkStreaming作业 获取DIS Spark Streaming Demo 这里获取“dis-spark-streaming-X.X.X.zip”压缩包。解压“dis-spark-streaming-X.X.X.zip”压缩包,解压之后获得以下目录: “dis-
下载流式数据 Json格式下载 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 3 streamname = "" #通道名称 startSeq='0’ #序列号 partitionId="shardId-0000000000"
调试通道 用户在创建通道成功后 ,可在界面进行简单的上传和下载操作,验证通道的可用性。 通道分区状态为ACTIVE(可用)时,同时支持上传和下载。 通道分区状态为DELETED(删除中)时,仅支持下载,不支持上传。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。
获取数据游标 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK获取数据游标信息。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 // 配置通道名称 String streamName =
更新通道信息 功能介绍 本接口用于更新指定通道的通道信息。 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/streams/{stream_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。