检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
密钥配置文档 获取密钥信息 登录华为云后台,单击右上角“账号中心 > 我的凭证 ”,进入“我的凭证”界面。 在左侧导航栏进入“访问密钥”界面,单击“新增访问密钥”生成新的密钥并下载保存。 配置密钥 引导式配置 可以通过执行config add直接进行密钥的添加: $ s config
文档提取暗水印 功能介绍 对已嵌入文字暗水印的WORD(.docx),PPT(.pptx),EXCEL(.xlsx),PDF(.pdf)类型的文档进行文字暗水印提取,用户以formData的格式传入待提取水印的文件,DSC服务以JSON的格式返回从文档里提取的出的文字暗水印内容。
magno对象预置API一览表 HttpUtils工具类预置API一览表 SafeUtils安全工具类预置API一览表 父主题: 自定义组件开发规范
only.inline=true 执行SQL run compaction on dsrTable; 父主题: Spark on Hudi开发规范
删除文档有什么要求 删除文档时,需要满足以下条件: 文档的版本为最新版本。 文档的状态为“已检入”。 文档的状态不可以是“已发行”“试发行”或“生成发行”。 当前文档没有被其他的对象关联(例如:与部件建立描述关系,与部件建立参考关系,被其他文档参考,被其他文档使用,有在途的评审流程,有在途的变更)。
ClickHouse数据查询 数据查询规则 禁止select *查询 只查询需要的字段可以减少磁盘io和网络io,提升查询性能。 使用uniqCombined替代distinct uniqCombined对去重逻辑进行了优化,通过近似去重提升十倍查询性能,如果对查询允许有误差,可
Bucket调优示例 创建Bucket索引表调优 Hudi表初始化 实时任务接入 离线Compaction配置 父主题: DLI Hudi开发规范
ClickHouse DataBase设计 业务隔离设计-各业务分库设计 在业务规划时,不同业务归属于不同数据库,便于后续对应用户关联的数据库下表、视图等数据库对象权限的分离管理和维护。 业务隔离设计-不要在system库中创建业务表 system数据库是ClickHouse默认
ClickHouse系统调优 通过FusionInsight Manager查看主机上的CPU、内存、I/O和网络资源使用情况,确认这些资源是否已被充分利用,分以下几种情况: 每个节点资源占用都比较均匀 通过观察资源在每个节点都使用比较均匀,说明系统资源使用比较正常,可以先不关注
文档修订记录 文档修订记录累积了每次文档更新的说明。最新版本的文档包含以前所有文档版本的更新内容。 修订记录 发布日期 第一次正式发布。 2024-05-24
ClickHouse分布式表设计 建议 分布式表建表参考: CREATE TABLE default.my_table_dis ON CLUSTER default_cluster AS mybase.my_table_local ENGINE = Distributed(default_cluster
ClickHouse日志管理规则 日志路径 ClickHouse相关日志的默认存储路径为:“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouseServer运行相关日志:“/var/log/Bigdata/clickhouse/clickhouseServer/
diapi接口 接口清单: 应用场景 接口名称 接口URL 查询/保存数据 登录接口 b1dis/v1/login 执行sql b1dis/v1/exec-sql 登录接口 执行sql接口 父主题: 依赖接口清单描述
ClickHouse数据库应用开发 在ClickHouse的使用过程中,由于使用不规范的方式访问和查询,导致业务失败的情况时有发生。此外,偶尔也会发生因为网络闪断等导致连接和查询失败的情况。 MRS提供了ClickHouse的样例代码工程,旨在提供连接重试机制和规范化用户连接和查
文档修订历史 表1 修订记录 文档版本 发布日期 修改说明 01 2022-07-13 首次发布。 02 2022-10-28 新增节点侧API参考。 03 2023-08-11 节点侧API调整至API参考手册。
DGC方式如何创建Flink Hive Sql作业 问题现象 使用DGC方式如何创建Flink Hive Sql作业。 解决方法 若通过DGC方式创建提交Flink Hive作业,以读Kafka写Hive作业为例,步骤如下: 提前在Hive客户端中创建Hive表。例如: create
ClickHouse宽表设计原则 宽表设计原则 由于ClickHouse的宽表查询性能较优,且当前ClickHouse可支持上万列的宽表横向扩展。 在大部分场景下,有大表两表join以及多表join的场景,且多个join的表数据变化更新频率较低,这种情况,建议对多个表join查询
ClickHouse本地表设计 规则 单表(分布式表)的记录数不要超过万亿,对于万亿以上表的查询,性能较差,且集群维护难度变大。单表(本地表)不超过百亿。 表的设计都要考虑到数据的生命周期管理,需要进行TTL表属性设置或定期老化清理表分区数据。 单表的字段建议不要超过5000列。
ClickHouse日志管理 日志级别、日志文件大小、日志文件数目的修改设置。 ClickHouse支持日志级别的动态调整。 登录FusionInsight Manager界面,访问“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer
Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题: DLI Hudi开发规范