检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。 云服务实现了在多地域部署基础设施,具备高度的可扩展性和可靠性,用户可根据自身需要指定地域使用DIS服务,由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据
理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个
在“事件管理”页面中单击“订阅” 。 在指定订阅名称所在行的“操作”列,单击“更多 > 删除”,弹出确认删除对话框,如图1所示。 图1 确认删除 单击“确定”,删除该订阅。 父主题: 事件通知
处理来自DIS数据通道的数据。 Project:用于将OpenStack的资源(计算资源、存储资源和网络资源)进行分组和隔离。Project可以是一个部门或者一个项目组。一个账户中可以创建多个Project。账户是租户对应的账号。一个Region有n个Project,但是一个Pr
服务器对应的子网中。 操作步骤 使用注册账户登录弹性云服务控制台,进入“云服务器控制台”页面。 在页面中单击用户将要使用的弹性云服务器,查看云服务器详情。 在云服务器详情页面中,单击“网卡”,打开相应的下拉菜单,查看弹性云服务器的子网名称。 在云服务器详情页面中,单击“虚拟私有云
setKmsUserKeyName("qiyinshan"); descriptor.setKmsUserKeyId("9521c600-64a8-4971-ad36-7bbfa6d00c41"); // 转储DWS通过OBS服务中转,需配置OBS桶名和子文件夹名,此目录也用于保存转储失败的源数据
果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。 前提条件 数据接入服务通道正常运行。 已删除的通道,云监控将默认该通道不存在,并在监控列表中删除,不再对其进行监控,但告警规则需要用户手动清理。 已在云监控页面设置告警规则,具体操作请参见设置告警规则。 操作步骤
schema。例如: 右侧文本框中单击,可修改已生成的Avro schema。例如: 文本框中单击“格式化”,可格式化解析数据。例如: 文本框中单击,可删除源数据样例。 创建源数据Schema(直接创建方式) 找到创建源数据Schema入口后,按照如下方法创建源数据Schema: 单击“源数据Schema”后的“直接创建”。
查询APP列表 √ √ √ 删除APP √ √ √ 新增Checkpoint √ x √ 查询Checkpoint √ √ √ 删除Checkpoint √ x √ 添加转储任务 √ √ √ 查询转储任务详情 √ √ √ 查询转储任务列表 √ √ √ 删除转储任务 √ √ √
手动提交 在有些场景可能对消费偏移量有更精确的管理,以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下:
手动提交 在有些场景可能对消费偏移量有更精确的管理,以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下:
已经存在同名的APP 请修改APP名称并重新创建APP。 400 DIS.4331 app is using. 删除app时,当前app在使用中 请确认app是否在使用中,如需删除请停止使用并重新删除。 400 DIS.4332 app not found. 指定的APP不存在 请检查指定的APP名称是否正确
修改 单击标签所在行“操作”列下的“编辑”,在弹出的“编辑标签”窗口,输入修改后标签的值,并单击“确认” 删除 单击标签所在行“操作”列下的“删除”,如果确认删除,在弹出的“删除标签”窗口,单击“确认”。 父主题: 管理通道
配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint
配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint 变更分区数量
已经存在同名的APP 请修改APP名称并重新创建APP。 400 DIS.4331 app is using. 删除app时,当前app在使用中 请确认app是否在使用中,如需删除请停止使用并重新删除。 400 DIS.4332 app not found. 指定的APP不存在 请检查指定的APP名称是否正确
骤1:开通DIS通道。在选择“企业项目”的下拉列表中,将显示用户在企业项目服务中已创建的项目。系统还内置了一个缺省的企业项目“default”,如果用户没有为通道选择企业项目,将使用缺省项目“default”。 在通道创建过程中,如果通道与企业项目绑定成功,则通道创建成功,如果绑定失败,系统会发送告警,通道创建失败。
标签管理 给指定通道添加标签 查询指定通道的标签信息 删除指定通道的标签 批量添加资源标签 查询指定区域所有标签集合 使用标签过滤资源(通道等) 批量删除资源标签 父主题: API说明
通道列表简介 通道列表中可查看当前用户的已创建的所有通道信息。通道信息包括: 名称/ID:用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 状态:通道的运行状态。 通道类型:普通和高级。 普通通道单分
每个用户最多可创建两个有效的访问密钥。 为防止访问密钥泄露,建议您将其保存到安全的位置。如果用户在此提示框中单击“取消”,则不会下载密钥,后续也将无法继续下载,用户必须将此密钥删除后再创建新的访问密钥。 父主题: 开通DIS