检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Jar作业提交SQL样例程序 Flink Jar作业提交SQL样例程序开发思路 Flink Jar作业提交SQL样例程序(Java) 父主题: 开发Flink应用
准备HBase应用开发环境 准备HBase应用开发和运行环境 导入并配置HBase样例工程 配置HBase应用安全认证 父主题: HBase开发指南(安全模式)
HBase全局二级索引样例程序 HBase全局二级索引样例程序开发思路 创建HBase全局二级索引 查询HBase全局二级索引信息 基于全局二级索引查询HBase表数据 禁用HBase全局二级索引 删除HBase全局二级索引 父主题: 开发HBase应用
准备HDFS应用开发环境 准备HDFS应用开发和运行环境 导入并配置HDFS样例工程 配置HDFS应用安全认证 父主题: HDFS开发指南(安全模式)
HetuEngine开发指南(安全模式) HetuEngine应用开发简介 HetuEngine应用开发流程介绍 准备HetuEngine应用开发环境 开发HetuEngine应用 调测HetuEngine应用
准备HetuEngine应用开发环境 准备本地应用开发环境 导入并配置HetuEngine样例工程 导入并配置HetuEngine Python3样例工程 配置HetuEngine应用安全认证 父主题: HetuEngine开发指南(安全模式)
附录 MRS所使用的弹性云服务器规格 MRS所使用的裸金属服务器规格 状态码 错误码 获取项目ID 获取账号ID 获取MRS集群信息 MRS支持的角色与组件对应表
权限策略和授权项 策略及授权项说明
MRS支持的角色与组件对应表 表1 MRS支持的角色与组件对应表 角色名 组件名 OMSServer OMSServer NameNode HDFS Zkfc HDFS JournalNode HDFS DataNode HDFS ResourceManager Yarn NodeManager
API V1.1 集群管理接口 弹性伸缩接口 标签管理接口 可用区 版本元数据查询
V1.1 作业管理接口(废弃) 新增作业并执行(废弃) 查询作业exe对象列表(废弃) 查询作业exe对象详情(废弃) 删除作业执行对象(废弃) 父主题: 历史API
可用区 查询可用区信息 父主题: API V1.1
标签管理接口 集群操作默认标签 查询默认标签状态 查询标签配额 父主题: API V2
Filepath:需要填写文件或目录的绝对路径。 OVERWRITE:如果使用了这个关键字,目标表(或分区)的数据将被删除,并使用文件中读取的数据来替代。 限制 如果要加载数据到指定分区,用户必须在partition子句中列出表的所有字段。 不支持复杂类型数据,比如Array,Map等。 不支持外部表(external)。
的分布在各个节点。增加任务的并行度,充分利用集群机器的计算能力。 操作步骤 任务的并行度可以通过以下四种层次(按优先级从高到低排列)指定,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 算子层次 一个算子、数据源和sink的并行度可以通过调用setParallelism()方法来指定,例如
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无。 可能原因 有用户手动终止了正在运行的YARN任务。 处理步骤 排查YARN日志和审计日志,查看终止任务操作的下发者,确认终止任务的原因。 参考信息 无。 父主题:
操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景。 Create
需要查询的表名,支持database.tablename格式。 是 commit_Time 指定创建或回滚的时间戳。 是 user 创建savepoint的用户。 否 comments 该条savepoint的注释说明。 否 示例 call create_savepoint('hudi_test1'
的分布在各个节点。增加任务的并行度,充分利用集群机器的计算能力。 操作步骤 任务的并行度可以通过以下四种层次(按优先级从高到低排列)指定,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 算子层次 一个算子、数据源和sink的并行度可以通过调用setParallelism()方法来指定,例如
ALM-18013 上个周期运行失败的Yarn任务数超过阈值(2.x及以前版本) 告警解释 上个10min的周期内,运行失败的YARN任务数超过阈值。该告警每10min检测一次,如果上个10min周期内,发生YARN任务运行失败的数量大于设定的阈值时候,会发生该告警。如果在下个1