检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消息数量费用 上传消息数量0.1元/百万条,每小时上传消息数量为:5MB/s * 1024 / 2KB * 3600秒 = 9.216百万条。因此工具需要:0.1 * 9.216 = 0.9216元。 因此每小时收费总共需要:0.5 + 0.9216 = 1.4216元/小时。
支持 同kafka的默认设置(32MB) max.in.flight.requests.per.connection 参数 支持 限制客户端在单个连接上能够发送的未响应请求的个数,默认值为100(Kafka默认为5)可提高发送性能,但可能出现数据顺序不一致的问题。如需严格保证顺序,建议此值设置为1
支持 同kafka的默认设置(32MB) max.in.flight.requests.per.connection 参数 支持 限制客户端在单个连接上能够发送的未响应请求的个数,默认值为100(Kafka默认为5)可提高发送性能,但可能出现数据顺序不一致的问题。如需严格保证顺序,建议此值设置为1
服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 410 Gone 客户端请求的资源已经不存在。 返回该状态码,表明请求的资源已被永久删除。 411 Length Required 服务器无法处理客户端发送的不带Content-Length的请求信息。
自动提交策略由消费者协调器(Coordinator)每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交;手动提交需要由客户端自己控制偏移量的提交。 自动提交 在创建一个消费者时,默认是自动提交偏移量,默认的提交间隔是5000ms。使用自动提交相关参数设置如下: props
自动提交策略由消费者协调器(Coordinator)每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交;手动提交需要由客户端自己控制偏移量的提交。 自动提交 在创建一个消费者时,默认是自动提交偏移量,默认的提交间隔是5000ms。使用自动提交相关参数设置如下: props
=c即可 若timestamp大于最新一条数据的时间戳或者是未来时间,则从最新一条数据之后开始读取。 样例代码 使用初始化DIS客户端初始化后的客户端实例通过DIS通道获取数据。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”
user_password String 存储该通道数据的DWS数据库的密码。 kms_user_key_name String 用户在密钥管理服务(简称KMS)创建的用户主密钥名称,用于加密存储DWS数据库的密码。 kms_user_key_id String 用户在密钥管理服务(
2019-07-03 第十九次正式发布: Java SDK不兼容原生Kafka客户端,删除“连接Kafka consumer”。 2019-05-14 第十八次正式发布: 支持使用SDK实现数据的加密上传下载,修改初始化DIS客户端。 2019-05-07 第十七次正式发布: 查询通道列表SDK增加分页功能说明,修改查询通道列表。
获取认证信息 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默
越长,序列号越大。 应用程序:一个DIS应用程序是读取和处理来自DIS数据通道的使用者。您可以使用客户端库(SDK)构建DIS应用程序。 客户端库:SDK是一个适用于Java的客户端库,帮助用户轻松构建DIS应用程序,用以读取和处理来自DIS数据通道的数据。 Project:用于
道的App详情。 创建App 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“App管理”。 进入App管理页面,单击“创建App”,输入对应的名称,完成创建。 查看App 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。
DIS使用流程简介 步骤1:开通DIS通道 步骤2:准备DIS应用开发环境 步骤3:发送数据到DIS 步骤4:从DIS获取数据 获取认证信息 连接OBS 自动创建委托
“<”,“>”,“\”,“,”,“|”,“/”,且首尾字符不能为空格。 Apache 为通道增加标签 在购买接入通道页,为通道增加标签。 登录管理控制台。 在控制台页面中选择“服务列表 > 大数据 > 数据接入服务 DIS”。 单击“购买接入通道”,进入“购买接入通道”页面。 “
使用SDK(Java) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
删除通道 通道删除后不再收取费用,也无法恢复,请谨慎操作。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 在需要删除的通道中单击操作列的“删除”,弹出“删除DIS通道”对话框。 单击“确认”,删除选中的通道。 父主题:
使用SDK(Python) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情
通道管理权限“DIS Operator”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“数据接入服务”,进入DIS主界面创建通道,若未提示权限不足,表示“DIS
授权管理 通过添加授权策略,可实现被授权的其他用户拥有DIS通道的上传和下载权限。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击通道名称,进入所选通道的管理页面。 选择“授权管理”,单击“添加授权策略”, 选择授
shell客户端完成建表操作。 准备Linux弹性云服务器。假设该弹性云服务器名称为“ecs-385d”,具体操作请参见准备弹性云服务器。 安装客户端并启动Shell访问CloudTable集群,具体操作请参见使用HBaseShell访问集群。 在HBase shell客户端执行create