检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin 验证DIS Logstash
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题: 使用DIS
用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 容错选项 通过单击或来关闭或开启容错选项开关。 fill_missing_fields
使用DIS Flume Plugin上传与下载数据 DIS Flume Plugin概述 安装DIS Flume Plugin前准备 安装Plugin 配置Plugin 验证Plugin 卸载Plugin(可选) 父主题: 使用DIS
id必须唯一,如果不配置client.id, dis kafka consumer会生成一个uuid作为client.id。 key.deserializer 参数 支持 含义与kafka设置相同,但默认值为StringDeserializer (kafka必须配置)。 value.deserializer
id必须唯一,如果不配置client.id, dis kafka consumer会生成一个uuid作为client.id。 key.deserializer 参数 支持 含义与kafka设置相同,但默认值为StringDeserializer (kafka必须配置)。 value.deserializer
安装DIS Flume Plugin前准备 检查依赖 确认Flume已经安装并能正常运行。 确认Flume版本为1.4.0及以上版本。进入Flume安装目录,执行如下命令查看Flume版本。 $ bin/flume-ng version | grep Flume 确认使用的Java版本为1
使用SDK(Python) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情
安装DIS Logstash Plugin前准备 检查依赖 确认Logstash已安装并能正常运行。 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby版本。
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
使用SDK(Java) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
范围:长度不超过64位,且不可配置为空。如果有在Console控制台使用转储任务,会提示自动创建委托,自动创建的委托名称为:dis_admin_agency 最大长度:64 deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OB
认禁止Administrator用户,Internet Explorer在安装时自动选择其他用户如System用户安装,从而导致Internet Explorer无法打开登录页面。请使用管理员身份重新安装Internet Explorer 9.0或更高版本(建议),或尝试使用管理员身份运行Internet
main(String[] args) { // 认证用的ak和sk直接写到代码中有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前
main(String[] args) { // 认证用的ak和sk直接写到代码中有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前
在控制台页面中选择“服务列表 > 大数据 > 数据接入服务 DIS”。 单击“购买接入通道”,进入“购买接入通道”页面。 “高级配置”页签,选择“现在配置”,展开标签页。 输入新添加标签的键和值。 系统支持添加多个标签,最多可添加10个标签,并取各个标签的交集,对目标通道进行搜索。
若请求失败,则会返回错误码及对应的错误信息说明,详细错误码信息请参考错误码。 创建带数据Schema的通道 您还可以为通道配置Schema,在使用DIS转储到其它服务时,可以根据通道配置的Schema来完成映射,示例如下。 Token认证,具体操作请参考Token认证。 发送“POST htt
ema: 单击“源数据Schema”后的“直接创建”。 配置“属性名”和“数据类型”后,单击“添加”,如图4所示,添加根节点。 图4 直接创建源数据Schema-1 根节点添加完成后,选中已创建的根节点,按照同样的方法,配置“属性名”和“数据类型”,添加子节点。 图5 直接创建源数据Schema-2
10MB/秒,单次请求的记录总大小不能超过5MB(不包含partitionKey数据大小) 目前每个租户默认Partition配额范围为1~50个,租户可以根据需要配置Partition个数。 若需扩大配额,请提交工单增加配额,具体上限需要根据集群的实际负载情况进行计算。 父主题: 一般性问题