检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询指定区域所有标签集合 功能介绍 该接口用于查询指定区域所有标签集合。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/stream/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
查询转储任务列表 功能介绍 本接口用于查询转储任务列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
弹出“变更分区数目”对话框。 修改“目标分区数”,单击“确认”。 查看扩缩容日志 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看的通道名称。进入所选通道的管理页面。 选择“扩缩容日志”页签。查看该通道的扩缩容详情。 父主题: 管理通道
数据压缩类型,当前支持的压缩算法: lz4:综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 snappy:其目标不是最大限度压缩或者兼容其他压缩格式,而是旨在提供高速压缩速度和合理的压缩率。 zstd:一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。 lz4
batch_sort:表示在一个node下,内存排序后直接生成CarbonData文件,不再进行node下的全排序;使用该配置,可以提升加载速度,但查询性能不如LOCAL_SORT; - 父主题: 管理转储任务
务吞吐的需求选择通道的分区数。 stream_type:通道类型,“COMMON”表示普通分区,单分区支持最大1MB/s的写入速度和2MB/s的读取速度。 data_duration:通道生命周期,即通道分区中数据的保留时长。 请求响应成功后,返回201 Created,表示通道创建成功。
IsFatgueDriving string 疲劳驾驶 IsHthrottleStop string 停车轰油门 查询数据样例 数据查询统计 SELECT * FROM demo.cars 结果查询 查询语句执行结果如图4所示。 图4 统计结果
使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看的通道名称,进入所选通道的管理页面。 单击“Apps”,可查看到接入该通道的所有App。 可查看接入该通道的App名称,ID和创建时间。 您也可通过单击“清空Checkpoints”,将
约束与限制 您能创建的通道和实例的数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见服务配额。 详细的限制请参见具体API的说明。 父主题: 使用前必读
交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件,并采集上传到云上,进行离线分析、存储查询及机器学习,对客户进行分类和信息查询,识别出大型客户,加强服务,进一步提升客户满意度。 图2 场景示例图 数据接入备份 将大量滚动日志文件传输到云端做备份,
\*.log”。 请根据实际情况配置 directoryRecursionEnabled 否 是否查找子目录 false:不递归查找子目录,只匹配根目录下的文件 true: 递归查找所有子目录。如filePattern配置为/tmp/*.log,此时可以匹配到/tmp/one.log,/tmp/child/two
配置样例工程 样例代码请查看:https://github.com/huaweicloud/huaweicloud-sdk-python-dis/tree/master/dis_sdk_python_demo。 操作步骤 huaweicloud-python-sdk-dis已发布到
DIS Agent概述 DIS Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题:
#序列号 metadata="" #用户消费程序端的元数据信息,元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行commitCheckpoint_sample.py文件调用commit
值为1 缺省值:1000 offset 否 String 索引位置, 从offset指定的下一条数据开始查询。 查询第一页数据时,不需要传入此参数,查询后续页码数据时,将查询前一页数据时响应体中的值带入此参数(action为count时无此参数)如果action为filter默认为0,必须为数字,不能为负数
添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint 查询Checkpoint 变更分区数量
batch_sort:表示在一个node下,内存排序后直接生成CarbonData文件,不再进行node下的全排序;使用该配置,可以提升加载速度,但查询性能不如LOCAL_SORT; - 父主题: 管理转储任务