检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动流程元模板 启动流程是指对流程元模板的一次具体运行。完成创建和发布的流程元模板可以多次启动流程,您可以根据实际业务需求,选择合适自己业务需求的流程元模板启动流程。 启动流程 登录流程引擎。 在左侧导航栏中,选择“流程编排服务 > 流程元模板”,进入“流程元模板”页面。 在流程元模板所在行
ClickHouse分布式表设计 建议 分布式表建表参考: CREATE TABLE default.my_table_dis ON CLUSTER default_cluster AS mybase.my_table_local ENGINE = Distributed(default_cluster
ClickHouse调优思路 ClickHouse的总体性能调优思路为性能瓶颈点分析、关键参数调整以及SQL调优。在调优过程中,需要综合系统资源、吞吐量、集群负载等各种因素来分析,定位性能问题,设定调优目标,调优达到客户所需目标即可。 ClickHouse调优人员需要系统软件架构、
ClickHouse SQL调优 规则 合理使用数据表的分区字段和索引字段。 MergeTree引擎,数据是以分区目录的形式进行组织存储的,在进行的数据查询时,使用分区可以有效跳过无用的数据文件,减少数据的读取。 MergeTree引擎会根据索引字段进行数据排序,并且根据index_granularity
ClickHouse日志管理规则 日志路径 ClickHouse相关日志的默认存储路径为:“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouseServer运行相关日志:“/var/log/Bigdata/clickhouse/clickhouseServer
Hudi表模型设计规范 规则 Hudi表必须设置合理的主键。 Hudi表提供了数据更新和幂等写入能力,该能力要求Hudi表必须设置主键,主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键,两种主键类型均要求主键不能有null值和空值,可以参考以下示例设置主键: SparkSQL
常见问题 Failed to create partition [xxx] . Timeout Doris建表是按照Partition粒度依次创建的。当一个Partition创建失败时,可能会报这个错误。即使不使用Partition,当建表出现问题时,也会报Failed to create
ECS部署成功,但访问网页失败 问题现象 应用“phoenix-sample-standalone”部署成功,但访问网页(“http://IP:5000”与“http://IP:5001”)失败。 原因分析 主机未添加入方向规则“允许访问5000以及5001端口”。 本文建议使用操作系统为
配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景
连接参数参考 info参数连接的所有属性名称对大小写敏感。常用的属性如表1所示。 表1 info参数的连接属性 属性名称 属性说明 属性值 PGDBNAME 表示数据库名称(URL中无需配置该参数,自动从Properties文件中解析)。 属性类型:String PGHOST 主机
表设计 GaussDB是分布式架构。数据分布在各个DN上。总体上讲,良好的表设计需要遵循以下原则: 将表数据均匀分布在各个DN上。数据均匀分布,可以防止数据在部分DN上集中分布,从而导致因存储倾斜造成集群有效容量下降。通过选择合适的分布列,可以避免数据倾斜。 将表的扫描压力均匀分散在各个
连接参数参考 info参数连接的所有属性名称对大小写敏感。常用的属性如表1所示。 表1 info参数的连接属性 属性名称 属性说明 属性值 PGDBNAME 表示数据库名称(URL中无需配置该参数,自动从Properties文件中解析)。 属性类型:String PGHOST 主机
表设计 总体上讲,良好的表设计需要遵循以下原则: 减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。 尽量减少随机I/O。通过聚簇可以实现热数据的连续存储,将随机I/O转换为连续I/O,从而减少扫描的I/O代价。 选择分区方案 当表中的数据量很大时,应当对表进行分区
约束设计 DEFAULT和NULL约束 如果能够从业务层面补全字段值,那么,不建议使用DEFAULT约束,避免数据加载时产生不符合预期的结果。 给明确不存在NULL值的字段加上NOT NULL约束。优化器会在特定场景下对其进行自动优化。 给可以显式命名的约束显式命名。除了NOT NULL
约束设计 DEFAULT和NULL约束 【建议】如果能够从业务层面补全字段值,那么,就不建议使用DEFAULT约束,避免数据加载时产生不符合预期的结果。 【建议】给明确不存在NULL值的字段加上NOT NULL约束,优化器会在特定场景下对其进行自动优化。 【建议】给可以显式命名的约束显式命名
样例代码 YARN作业提交的样例代码详细可以参考MapReduce开发指南中的MapReduce访问多组件样例代码,实现建立一个MapReduce job,并提交MapReduce作业到Hadoop集群。 父主题: YARN接口介绍
华为云日志服务移动端日志采集SDK隐私声明 【华为云日志服务移动端日志采集SDK】是由华为云计算有限公司(以下简称“我们”或“华为”)面向应用开发者(以下简称“开发者”)提供的方便用户直接使用编码方式上报日志到云日志服务后台的开放能力及服务。
例如:账户A需要挂载账户B下的桶“bucket_share”以便于读取账户B下的桶“bucket_share”中的对象,则账户B需要先获取账户A的“账户ID”并通过OBS管理控制台先为其设置桶“bucket_share”的“读取权限”。
如果开发中心已经对接产品中心,则开发者在完成产品的自助测试后,可以把产品发布到产品中心,已发布的产品可直接应用于商用环境。 申请发布产品 产品在通过所有测试用例后,单击“申请发布”。 系统自动完成厂商信息和产品信息完整性的检查。如果没有重要信息缺失,则单击“发布”。
表1 参数填写说明(入门版) 参数名称 类型 是否必填 参数解释 默认值 vpc_name String 必填 虚拟私有云名称,该模板新建VPC,不支持重名。取值范围:1-54个字符,支持数字、字母、中文、下划线(_)、中划线(-)、点(.)。