检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模式还包含其他命名的对象,包括数据类型、函数,以及操作符。同一个对象名可以在不同的模式里使用而不会导致冲突。 - DWS数据表 存储该通道数据的DWS数据库模式下的数据表。 - 数据分隔符 用户数据的字段分隔符,根据此分隔符分隔用户数据插入DWS数据表的相应列。 取值范围:不可为空
delimiter compression_format 否 String 数据的压缩类型,目前支持: snappy gzip zip 默认不压缩。 枚举值: snappy gzip zip tags 否 Array of Tag objects 通道标签列表。 sys_tags 否 Array
获取区域和Endpoint信息 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名},您可以从地区和终端节点获取区域和终端节点信息。
no_sort:即不排序,在需要快速入库时使用,可以在入库后系统闲时通过Compaction命令再建立索引; batch_sort:表示在一个node下,内存排序后直接生成CarbonData文件,不再进行node下的全排序;使用该配置,可以提升加载速度,但查询性能不如LOCAL_SORT;
次扩展到数百万。 易于使用:您可以在几秒钟内创建DIS数据通道,轻松地将数据放入通道中,并构建用于数据处理的应用程序。 成本低廉:DIS没有前期成本,您只需要为实际使用的资源付费即可。 并行处理:DIS可让您用多个应用程序同时处理同一个数据通道。例如,您可以让一个应用程序运行实时
查看数据上传结果 05 实践 通过提供针对多种场景的使用样例,方便您快速了解使用DIS完成实时数据的采集和分析。 案例介绍 使用DIS实时分析车辆位置 使用DIS采集增量驾驶行为日志数据 06 API 通过DIS开放的API和调用示例,您可以使用DIS的通道创建,上传下载数据,添加和删除转储任务等功能。
一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 如果云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用数据接入服务的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行
中。如果设置数据的PartitionKey,可能会导致数据倾斜,产生通道限流。 下载数据时,需要定期的使用descriptStream接口检测通道分区数量的变化,以便DIS可以下载到所有分区的数据。 自动扩缩容 自动扩缩容原理 当上一分钟内通道触发流控(即超过通道内分区最大吞吐量
String 已创建的通道名称。 最大长度:60 stream_id 否 String 通道唯一标识符。 当使用stream_name没有找到对应通道且stream_id不为空时,会使用stream_id去查找通道。 说明: 上传数据到被授权的通道时,必须配置此参数。 records 是
介绍如何在控制台或者调用API获取项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。
我的凭证 > 访问密钥”页面下载生成。 获取项目ID 项目ID表示租户的资源。用户可在“我的凭证 > > API凭证”页面下查看项目列表中不同Region对应的项目ID。 获取region和endpoint 请参见终端节点及区域说明。 父主题: 入门
我的凭证 > 访问密钥”页面下载生成。 获取项目ID 项目ID表示租户的资源。用户可在“我的凭证 > > API凭证”页面下查看项目列表中不同Region对应的项目ID。 获取region和endpoint 请参见终端节点及区域说明。
ence-number定义的序列号)后的记录开始读取数据。- TRIM_HORIZON:从最早被存储至分区的有效记录开始读取。例如,某租户使用DIS的通道,分别上传了三条数据A1,A2,A3。N天后(设定A1已过期,A2和A3仍在有效期范围内),该租户需要下载此三条数据,并选择了
实时指标和报告:实时从DIS数据通道数据提取指标并生成报告。例如,数据接入服务应用程序可以处理系统和应用程序日志的指标和报告,因为数据被流入而不是等待收到批量数据。 实时数据分析:通过数据接入服务,可以运行实时通道数据分析。例如,可以通过API把数据实时添加到DIS数据通道中,并让您的DIS应用程序
ro Schema的语法描述。Avro介绍您也可以点击这里查看。 compression_format String 数据的压缩类型,目前支持: snappy gzip zip 默认不压缩。 枚举值: snappy gzip zip csv_properties CSVProperties
删除app时,当前app在使用中 请确认app是否在使用中,如需删除请停止使用并重新删除。 400 DIS.4332 app not found. 指定的APP不存在 请检查指定的APP名称是否正确 400 DIS.4335 Invalid IAM agency. 创建转储任务时,使用的IAM委托无效
no_sort:即不排序,在需要快速入库时使用,可以在入库后系统闲时通过Compaction命令再建立索引; batch_sort:表示在一个node下,内存排序后直接生成CarbonData文件,不再进行node下的全排序;使用该配置,可以提升加载速度,但查询性能不如LOCAL_SORT;
通道唯一标识符。 rules Array of PrincipalRule objects 通道授权信息列表。 表4 PrincipalRule 参数 参数类型 描述 principal String 授权用户ID。 principal_name String 授权用户名。如果授权给租
待更新的通道名称。 最大长度:64 data_duration 否 Integer 数据保留时长。 取值范围:24~72。 单位:小时。 空表示使用缺省值。 缺省值:24 data_type 否 String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:
ken的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 stream_id 是 String 通道唯一标识符。 principal_name 是 String 授权用户。 如果授权给指定租户,格式为:domainName.*;如果授权给租户下的指定子用户,则格式为:domainName