检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见检查认证信息。 请根据实际情况配置 region 是 将数据上传到指定Region的DIS服务。 cn-north-1
道分区中数据的保留时长。 请求响应成功后,返回201 Created,表示通道创建成功。 若请求失败,则会返回错误码及对应的错误信息说明,详细错误码信息请参考错误码。 创建支持自动扩缩容的通道 您还可以创建支持自动扩缩容的通道,可以根据通道的流量情况自动为您扩充或缩减分片数量。示例如下。
使用DIS服务之前必须先充值,才能正常使用DIS服务。 登录DIS管理控制台。 单击页面右上角的“费用”。 单击“充值”,系统自动跳转到充值窗口。 根据界面提示信息,对账户进行充值。 充值成功后,关闭充值窗口,返回管理控制台首页。 单击“数据接入服务”,开通服务。 创建访问密钥。 DIS通过用户账户中
与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见检查认证信息。 请根据实际情况配置 region 是 将数据上传到指定Region的DIS服务。 请根据实际情况配置
您提供数据高可用性和数据持久性。 主要模块 DIS分为4个功能模块,各模块功能如下: 服务控制面 完成服务的开通、删除、配置操作,并将用户信息同步到数据面。 完成数据面资源的申请与自动部署。 服务数据面 接收用户发送数据的请求,对已鉴权的数据接收并存储。 接收用户获取数据的请求,在鉴权后输出对应的用户数据。
使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域。 在左侧列表栏中选择通道管理。 单击通道名称。进入所选通道的管理页面。 单击“源数据类型”后的“查看已有源数据Schema”。 弹出源数据Schema文本框,单击,修改源数据Schema。 图6 修改源数据Schema 当通道中存在转储任
接口 支持 获取通道的分区信息,但PartitionInfo里面的leader, replicas, inSyncReplicas未实现。 Map<String, List<PartitionInfo>> listTopics() 接口 支持 获取所有的通道信息,但PartitionInfo里面的leader
接口 支持 获取通道的分区信息,但PartitionInfo里面的leader, replicas, inSyncReplicas未实现。 Map<String, List<PartitionInfo>> listTopics() 接口 支持 获取所有的通道信息,但PartitionInfo里面的leader
"region_id": "******", ...... 当接口调用出错时,会返回错误码及错误信息说明,错误响应的Body体格式如下所示。 { "error_msg": "The format of message is error"
入门 DIS使用流程简介 步骤1:开通DIS通道 步骤2:准备DIS应用开发环境 步骤3:发送数据到DIS 步骤4:从DIS获取数据 获取认证信息 连接OBS 自动创建委托
Close”完成JDK添加。 初始化DIS客户端实例。其中,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 父主题: 入门
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
Close”完成JDK添加。 初始化DIS客户端实例。其中,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。
件中一行数据的最后一个字段缺失,则把最后一个字段的值设置为NULL,不报错。 参数为false/off,如果最后一个字段缺失会显示如下错误信息。 ignore_extra_data 数据源文件中的字段比外表定义列数多时,是否忽略多出的列。该参数只在数据导入过程中使用。 取值范围:
Agent采集数据并上传数据至DIS。 DIS Agent介绍 DIS Agent概述 安装并配置DIS Agent 上传数据 启动Agent上传数据 查看数据上传结果 05 实践 通过提供针对多种场景的使用样例,方便您快速了解使用DIS完成实时数据的采集和分析。 案例介绍 使用DIS实时分析车辆位置
您可以使用本文档提供API对实时数据进行相关操作,如上传、下载等。支持的全部操作请参见API概览。 在调用数据接入服务API之前,请确保已经充分了解数据接入服务相关概念,详细信息请参见“产品介绍”。 父主题: 使用前必读
batch_sort:表示在一个node下,内存排序后直接生成CarbonData文件,不再进行node下的全排序;使用该配置,可以提升加载速度,但查询性能不如LOCAL_SORT; - 父主题: 管理转储任务
图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区
0或更高版本(建议),或尝试使用管理员身份运行Internet Explorer 9.0。 用户使用接入通道上传数据的时候,如果数据涉及敏感信息,请使用DIS SDK提供的加密配置进行加密或者自行加密。 用户使用接入通道上传数据时,普通通道单分区单次请求的记录总大小不能超过1MB(
anotherAgent 请确保使用bash执行脚本,否则使用sh、./ 等方式启动脚本,可能由于系统默认shell的差异导致启动失败。 显示类似如下信息,表示Agent启动成功。 Success to start DIS Agent [xxxxx]. 如果启动出现java变量找不到的情况,执行source