检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询对应版本元数据 功能介绍 查询对应版本元数据。如果参数里指定集群id,则可查询集群更新过补丁之后的最新元数据。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/metadata/versions/{version_name} 表1 路径参数
MRS支持的角色与组件对应表 表1 MRS支持的角色与组件对应表 角色名 组件名 OMSServer OMSServer NameNode HDFS Zkfc HDFS JournalNode HDFS DataNode HDFS ResourceManager Yarn NodeManager
配置用户在具有读和执行权限的目录中创建外表 操作场景 此功能在MRS 3.x之前版本适用于Hive,Spark。在MRS3.x及后续版本适用于Hive,Spark2x。 开启此功能后,允许有目录读权限和执行权限的用户和用户组创建外部表,而不必检查用户是否为该目录的属主,并且禁止外表的location目
如何通过Yarn WebUI查看Hive作业对应的SQL语句? 以业务用户登录FusionInsight Manager。 选择“集群 > 服务 > Yarn”,单击“ResourceManager WebUI”后的“ResourceManager(xxx,主) ”超链接,进入Yarn
查询主机列表 功能介绍 该接口用于查询输入集群的主机列表详情。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/hosts 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
10:58:00为Kafka重启时间段。2017/05/11 10:58:00重启成功后对应的“Input Size”的值显示为“0 records”。 图1 Web UI界面部分batch time对应Input Size为0 records 回答 Kafka重启成功后应用会按照batch时间把2017/05/11
MRS组件jar包版本与集群对应关系说明 MRS 3.2.0-LTS.1 表1 MRS 3.2.0-LTS.1版本集群Maven仓库的jar版本与组件的对应关系 组件 组件版本 jar版本 Flink 1.15.0 1.15.0-h0.cbu.mrs.320.r33 Hive 3
CDL同步任务名对应的Topic分区过多 现象描述 CDL任务启动后,在Kaka WebUI的“Topic List”列表中查看到该CDL任务的名称的“Partitions Num”值过大。 可能原因 CDL任务配置了Topic Table Mapping,未配置WhiteLis
HBase,HBase1~4系统管理员,用户权限: 集群管理权限:表的Enable、Disable操作,触发MajorCompact,ACL操作 授权或回收权限,集群关闭等操作相关的权限 表管理权限:建表、修改表、删除表等操作权限 数据管理权限:表级别、列族级别以及列级别的数据读写权限 登录HMaster
MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2
版本关系 若使用Phoenix,需下载与当前使用MRS集群相对应的Phoenix版本,具体请参见http://phoenix.apache.org。其对应关系如表1所示: 表1 MRS与Phoenix版本对应关系一览表 MRS版本 Phoenix版本 备注 MRS 1.9.2 x
starting:查询启动中的集群列表。 running:查询运行中的集群列表。 terminated:查询已删除的集群列表。 failed:查询失败的集群列表。 abnormal:查询异常的集群列表。 terminating:查询删除中的集群列表。 frozen:查询已冻结的集群列表。 scaling-out:查询扩容中的集群列表。
10:58:00为Kafka重启时间段。2017/05/11 10:58:00重启成功后对应的“Input Size”的值显示为“0 records”。 图1 Web UI界面部分batch time对应Input Size为0 records 回答 Kafka重启成功后应用会按照batch时间把2017/05/11
创建Doris表 本章节介绍创建Doris表样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群中dbName变量对应的数据库下创建tableName对应的表。 String createTableSql = "create table
创建Doris表 本章节介绍创建Doris表样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群中dbName变量对应的数据库下创建tableName对应的表。 String createTableSql = "create table
MRS集群内节点的操作系统是什么? 问: MRS集群内节点的操作系统是什么? 答: 不同版本的集群对应的主机操作系统不同,具体对应关系如表1所示。 表1 MRS集群版本与主机操作系统对应关系 MRS集群版本 x86计算 鲲鹏计算(ARM) MRS 3.2.0-LTS.1 EulerOS
CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个操作,这
HDFS创建FileSystem的代码会根据uri的scheme查找对应的实现类,即针对不同底层提供的实现类,在HDFS的配置文件中进行配置,HDFS就会根据fs.AbstractFileSystem.%s.impl创建对应的实现类。如下所示: *Create a file system
FlinkSQL Doris数据表开发规则 提前在Doris中创建表: Flink作业在Doris中找不到对应表会报错,所以需要提前在Doris中创建好对应的表。 Doris作为Sink表时需开启CheckPoint: Flink作业在触发CheckPoint时才会往Doris表中写数据。 父主题:
Spark Job对应的运行日志保存在哪里? 问: Spark Job对应的运行日志保存在哪里? 答: Spark Job没有完成的任务日志保存在Core节点的“/srv/BigData/hadoop/data1/nm/containerlogs/”目录内。 Spark Job完