检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请求。 若由于机器性能或者是网络环境问题,无法在30秒内接收到Yarn启动application的响应消息时,可适当延长对应的超时时间。 登录FusionInsight Manager。 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”。 搜索参数“application
由于导入数据时BE打开tablet writer操作可能涉及多个分片内存块的写盘操作,导致RPC超时,可以适当调整该RPC超时时间减少超时错误。 操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置 > 全部配置” 在左侧导航栏选择“BE(角色)
该配置项已对“/opt/”,“/user/hive/warehouse”等目录进行了默认配置。 前提条件 Hive、HDFS组件功能正常。 操作步骤 登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”,搜索“hive
target下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。 在Linux上进入客户端安装目录,如“/opt/client/Flink/flink/conf”作为作为运行目录,将1中生成的“target”目录下包名中含有“f
在yarn-client模式下,Driver部署在Client端,在Client端启动。yarn-client模式下,不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceManager发送Spark应用提交请求,ResourceManager为其返回应答,该应答中包
包含数据源表Source,数据结果表Sink。不同映射表类型包含的表如下所示。 Kafka:Source、Sink HDFS:Source、Sink - 数据连接 选择数据连接。 - Topic 读取的Kafka的topic,支持从多个Kakfa topic中读取,topic之间使用英文分隔符进行分隔。 “
Source可以获取到HBase的Connection。 通过Connection判断表是否存在,如果不存在则作业失败,需要通过HBase Shell创建表或上游作业创建表。 读取HBase中的数据,将Result数据转化成Row对象发送给下游算子。 父主题: Flink读取HBase表样例程序
${table_name}_ro; 读优化视图读取(Spark dataSource API为例):和读普通的dataSource表类似。 必须指定查询类型QUERY_TYPE_OPT_KEY为QUERY_TYPE_READ_OPTIMIZED_OPT_VAL spark.read.format("hudi")
${table_name}_ro; 读优化视图读取(Spark dataSource API为例):和读普通的dataSource表类似。 必须指定查询类型QUERY_TYPE_OPT_KEY 为QUERY_TYPE_READ_OPTIMIZED_OPT_VAL spark.read.format("hudi")
alias or column reference 'xxx'. 解决方案:set hive.cbo.enable=true; Hive SQL子查询编译报错:Unsupported SubQuery Expression 'xxx': Only SubQuery expressions
解决的问题 MRS 2.0.6.1 修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.0.6.1补丁期间会重启MRS Manager
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); // 提交任务交到远程环境上执行。 System.exit(job.waitForCompletion(true) ? 0 : 1); } 样例4:
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); // 提交任务交到远程环境上执行。 System.exit(job.waitForCompletion(true) ? 0 : 1); } 样例4:
由于Region上线失败而处于FAILED_OPEN状态造成的建表失败异常不能直接修复,需要删除该表后重新建表。 操作步骤如下: 在集群客户端使用如下命令修复表的状态。 hbase hbck -j ${CLIENT_HOME}/HBase/hbase/tools/hbase-hbck2-1
功能,当开启Transform功能时,存在一定的安全风险。 只有安全模式支持禁用Transform功能,普通模式不支持该功能。 操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在搜索框中搜索“hive.security
"/path1" ...命令成功之后,会将旧数据移除到回收站,并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer(角色)
tablename(入湖时需提供); 单条数据大小 = 平均 1KB(华为建议通过select * from tablename limit 100将查询结果粘贴在notepad++中得出100条数据的大小再除以100得到单条平均大小) 单表数据量大小(G) = 单表数据总条数*单表数据大小/1024/1024
使用Hue提交Coordinator定时调度作业 操作场景 该任务指导用户通过Hue界面提交定时调度类型的作业。 前提条件 提交Coordinator任务之前需要提前配置好相关的workflow作业。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在界面左
MRS集群服务启用Ranger鉴权 操作场景 该章节指导用户如何启用Ranger鉴权。安全模式默认开启Ranger鉴权,普通模式默认关闭Ranger鉴权。 操作步骤 登录FusionInsight Manager页面,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。选择“集群
由于Region上线失败而处于FAILED_OPEN状态造成的建表失败异常不能直接修复,需要删除该表后重新建表。 操作步骤如下: 在集群客户端使用如下命令修复表的状态。 hbase hbck -j ${CLIENT_HOME}/HBase/hbase/tools/hbase-hbck2-1