检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse分区设计 合理设置分区键，控制分区数在一千以内，分区字段使用整型。 分区part数与查询性能关系 图1 分区part数与查询性能关系图 分区建议 建议使用toYYYYMMDD（pt_d）作为分区键，pt_d是date类型。 如果业务场景需要做小时分区，使用pt
设计DAG 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车 如果两辆车都通过相同序列的收费站，
Spark Scala API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： SparkContext：是Spark的对外接口，负责向调用该类的scala应
HBase JDBC API接口介绍 Phoenix实现了大部分的java.sql接口，SQL语法紧跟ANSI SQL标准。 其支持处理函数可参见： http://phoenix.apache.org/language/functions.html 其支持语法可参见： http://phoenix
常用Oozie API接口介绍 Oozie Shell接口介绍 Oozie Java接口介绍 Oozie REST接口介绍 父主题： Oozie应用开发常见问题
通过Java API提交Oozie作业开发思路 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，仅job配置“job
ClickHouse本地表设计 规则 单表（分布式表）的记录数不要超过万亿，对于万亿以上表的查询，性能较差，且集群维护难度变大。单表（本地表）不超过百亿。 表的设计都要考虑到数据的生命周期管理，需要进行TTL表属性设置或定期老化清理表分区数据。 单表的字段建议不要超过5000列。
HBase常用接口介绍 HBase常用的Java类有以下几个： 接口类Admin，HBase客户端应用的核心类，主要封装了HBase管理类操作的API，例如建表，删表等操作，部分常见接口参见表表1。 接口类Table，HBase读写操作类，主要封装了HBase表的读写操作的API，部分常见接口参见表表2。
密钥管理系统通过HTTP REST API对外提供密钥管理服务，接口请参考官网： http://hadoop.apache.org/docs/r3.1.1/hadoop-kms/index.html 由于REST API接口做了安全加固，防止脚本注入攻击。通过REST API的接口，无法创建包含 "<script
监控安全风险 MRS的Manager界面提供集群级别的监控能力，帮助用户监控集群中大数据组件和节点的健康状态，同时提供告警通知能力，用户可以实时掌握MRS集群的各项指标、健康度。 更多详情请参见查看和定制集群监控指标和管理组件和主机监控。 父主题： 安全
HBase常用接口介绍 HBase常用的Java类有以下几个： 接口类Admin，HBase客户端应用的核心类，主要封装了HBase管理类操作的API，例如建表，删表等操作，部分常见接口参见表表1。 接口类Table，HBase读写操作类，主要封装了HBase表的读写操作的API，部分常见接口参见表表2。
最大运行应用数。如果是中间队列/父队列，这是所有子队列的集合。 allocation_order_policy String 分配策略，可以使用FIFO原则，PRIORITY原则或者FAIR原则。 max_running_application_per_user int 每个使用者运行应用的最大数量。 max_master_share
ClickHouse Projection设计 Projection仅在MRS 3.2.0及以上的版本集群中支持。 projection定义 CREATE TABLE test_projection_table( level String, type String
ClickHouse表字段设计 规则 不允许用字符类型存放时间或日期类数据，尤其是需要对该日期字段进行运算或者比较的时候。 不允许用字符类型存放数值类型的数据，尤其是需要对该数值字段进行运算或者比较的时候。字符串的过滤效率相对于整型或者特定时间类型有下降。 建议 不建议表中存储过
d; 修改明细表、聚合表结构，严格按照以下步骤实施： 停止明细表数据插入。 修改聚合表结构设计。 删除物化视图表。 重新创建新转化关系的物化视图。 父主题： ClickHouse物化视图设计
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Sta
密钥管理系统通过HTTP REST API对外提供密钥管理服务，接口请参考官网： http://hadoop.apache.org/docs/r3.1.1/hadoop-kms/index.html 由于REST API接口做了安全加固，防止脚本注入攻击。通过REST API的接口，无法创建包含 "<script
HBase JDBC API接口介绍 Phoenix实现了大部分的java.sql接口，SQL语法紧跟ANSI SQL标准。 其支持处理函数可参见： http://phoenix.apache.org/language/functions.html 其支持语法可参见： http://phoenix
YARN开发指南（安全模式） YARN应用开发简介 YARN接口介绍
ClickHouse DataBase设计 业务隔离设计-各业务分库设计 在业务规划时，不同业务归属于不同数据库，便于后续对应用户关联的数据库下表、视图等数据库对象权限的分离管理和维护。 业务隔离设计-不要在system库中创建业务表 system数据库是ClickHouse默认
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
