检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DIS服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。 前提条件 给用户组授权之前,请您了解用户组可以添加的DIS权限,并结合实际需求进行选择,D
Long 通道最近一次修改的时间,13位时间戳。 status String 通道的当前状态。 CREATING:创建中 RUNNING:运行中 TERMINATING:删除中 TERMINATED:已删除 枚举值: CREATING RUNNING TERMINATING FROZEN
在“事件管理”页面中单击“订阅” 。 在指定订阅名称所在行的“操作”列,单击“更多 > 修改”。 在“订阅设置”页面,选择要更改的参数项进行修改。具体修改方法参见创建订阅中的步骤 4~步骤 6。 删除订阅 在“事件管理”页面中单击“订阅” 。 在指定订阅名称所在行的“操作”列,单击“更多 > 删除”,弹出确认删除对话框,如图1所示。
App管理 创建消费App 查询App列表 删除App 查看App详情 查看App消费状态 父主题: API说明
not running. 通道状态不是运行中 请检查通道状态。 400 DIS.4208 Mrs cluster is invalid. %s 创建MRS转储任务时,传入的MRS集群无效 请检查传入的MRS集群名称和ID,集群状态是否为运行中,以及是否为安全模式的集群。 400 DIS
查询Checkpoint详情 功能介绍 本接口用于查询Checkpoint详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
stream_type=“FILE” #文件类型通道 配置createstream_sample.py中Dump_switch_FILE方法参数值。 配置好参数后,执行createstream_sample.py文件默认调用createStream_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
添加转储任务 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK创建转储任务,需要指定通道名称、转储任务名称,转储周期,转储目标服务等信息。 添加转储到对象存储服务(OBS)的转储任务 1 2 3 4 5 6 7 8 9
使用标签过滤资源(通道等) 功能介绍 该接口用于使用标签过滤资源(通道等)。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/stream/resource_instances/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id
验证sparkStreaming作业 实际场景中,SparkStreming作业需要提交在Spark集群上运行,但本次验证只介绍在本地IDE上测试,目的是了解sdk基本使用方法。测试完成后用户可自行创建集群(如MRS集群)并提交作业验证。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。
此处路径仅支持选择,不可手动输入。 配置此项必须已配置“MRS集群”。 转储文件目录 在MRS中存储通道文件的自定义目录,多级目录可用“/”进行分隔,不能以“/”开头。 取值范围:0~50个字符。 默认配置为空。 - 偏移量 最新:最大偏移量,即获取最新的有效数据。 最早:最小偏移量,即读取最早的有效数据。
查看App详情 功能介绍 本接口用于查询APP详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/apps/{app_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 app_name
授权管理 通过添加授权策略,可实现被授权的其他用户拥有DIS通道的上传和下载权限。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击通道名称,进入所选通道的管理页面。 选择“授权管理”,单击“添加授权策略”, 选择授
#可写入多条数据,数据格式如record1所示,每写一条数据使用下面的append方法传入records中。 配置好以上参数后,执行protobuf_putRecords_sample.py文件调用protobuf_putRecords_test方法,响应结果下: 1 2
查询通道监控 功能介绍 本接口用于查询指定通道的监控数据。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
就开始进行下一次的拉取操作,如需获取提交的结果,可以添加回调方法OffsetCommitCallback,当提交偏移量完成后会自动调用其onComplete()方法,以便根据回调结果执行不同的逻辑处理; commitSync()是同步提交,会阻塞线程直到提交消费偏移量执行结果返回。
获取项目ID 介绍如何在控制台或者调用API获取项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,
就开始进行下一次的拉取操作,如需获取提交的结果,可以添加回调方法OffsetCommitCallback,当提交偏移量完成后会自动调用其onComplete()方法,以便根据回调结果执行不同的逻辑处理; commitSync()是同步提交,会阻塞线程直到提交消费偏移量执行结果返回。
AT_TIMESTAMP:从特定时间戳(即timestamp定义的时间戳)开始读取。 运行程序 右键选择“Run As > 1 Java Application”运行程序,若程序运行成功,可以在控制台查看到类似如下信息: 1 2 3 4 5 6 7 14:55:42.954 [main]
Authentication Required 请求要求代理的身份认证,与401类似,但请求者应当使用代理进行授权。 408 Request Time-out 服务器等候请求时发生超时。 客户端可以随时再次提交该请求而无需进行任何更改。 409 Conflict 服务器在完成请求时发生冲突。 返回该状态码,