检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作请参考查看Ranger审计信息。 Security Zone 配置安全区域,Ranger管理员可将各组件的资源切分为多个区域,由不同Ranger管理员为服务的指定资源设置安全策略,以便更好的管理,具体操作可参考配置Ranger安全区信息。 Settings 查看Ranger相关
BulkLoad导入数据成功,执行相同的查询时却可能返回不同的结果 HBase数据恢复任务报错回滚失败 HBase RegionServer GC参数Xms和Xmx的配置为31GB,导致RegionServer启动失败 在集群内节点使用LoadIncrementalHFiles批量导入数据,报错权限不足 使用Phoenix
Manager界面,选择“运维 > 告警 > 告警”。 在告警列表中单击该告警,从完整的告警信息中“定位信息”处获得“主机名”。 以omm用户通过15获取的IP地址登录故障RegionServer节点。 执行ping命令,查看故障RegionServer节点和备集群RegionServer所在主机的网络连接是否正常。
出现该报错作业不会立即异常,在超过重试次数时才会通知作业异常。可以适当增大HDFS参数“dfs.client.block.write.retries”配置,例如:“dfs.client.block.write.retries=10”。 父主题: Loader常见问题
如果任务失败,选择“重试卸载”,只有当“状态”显示为“可用”时,才能进入下一步操作。 卸载失败或者重试后仍然失败,不能直接再点安装,请联系运维人员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 不涉及 父主题: 回滚补丁
serviceDiscoveryMode=hsbroker" user = "YourUserName" # 认证用的密码写入代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以密码保存在环境变量中来实现身份验证为例,运行本示例前,请先在本地环境中设置
WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中,日志中一直打印getApplicationReport异常且应用较长时间不退出 Spark执行应用时上报“Connection
作请参考查看Ranger审计信息。 Security Zone 配置安全区域,Ranger管理员可将各组件的资源切分为多个区域,由不同Ranger管理员为服务的指定资源设置安全策略,以便更好的管理,具体操作可参考配置Ranger安全区信息。 Settings 查看Ranger相关
检查应用访问HBase并发数。 登录安装HBase客户端的节点,查看“客户端安装目录/HBase/hbase/conf/hbase-site.xml”文件中“hbase.client.ipc.pool.size”是否配置且参数值是否配置过大。 是,执行3。 否,执行5。 适当调小“hbase
newInstance(); 获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接
Hive的应用程序支持使用Java、Python两种语言进行开发。推荐使用IntelliJ IDEA工具,请根据指导完成不同语言的开发环境配置。 准备Hive应用开发环境 根据场景开发工程 提供了Java、Python两种不同语言的样例工程,还提供了从建表、数据加载到数据查询的样例工程。
数据库名称。数据库名称由字母,数字和下划线组成。 table_name 数据库中的表的名称。表名由字母,数字和下划线组成。 注意事项 无。 示例 添加carbon配置参数 carbon.clean.file.force.allowed = true create table carbon01(a int
DWS 不支持 支持 8.1.1及之后版本 使用约束: 如果需要使用CDL, Kafka服务的配置参数“log.cleanup.policy”参数值必须为“delete”。 MRS集群中已安装CDL服务。 CDL仅支持抓取非系统表下的增量数据,MySQL、PostgreSQL等数据库的内置数据库不支持抓取增量数据。
生成Java代码的功能,从而确保语句的正常执行。即在客户端的“spark-defaults.conf”配置文件中将“spark.sql.codegen.wholeStage”配置为“false”。 父主题: SQL和DataFrame
Flink作业失败重启次数超阈值”告警,根据告警信息修复告警后,需重启该作业,作业自动恢复至健康。 前提条件 集群运行正常,并已安装集群客户端。 提交作业前,需配置“客户端安装路径/Flink/flink/conf/flink-conf.yaml”文件,开启作业注册到FlinkServer功能和作业告警功能,参数设置如下:
consume.mode = INCREMENTAL;,但该参数仅限于增量视图查询,不能用于Hudi表的其他类型查询,和其他表的查询。 恢复配置可设置set hoodie.hudicow.consume.mode = SNAPSHOT;或任意值。 父主题: Hudi读操作
获取“hbase-site.xml”、“hiveclient.properties”和“hive-site.xml”这三个配置文件,并在Linux环境上创建文件夹保存这三个配置文件,例如“/opt/client/conf”。 “hbase-site.xml”从HBase客户端获取,“hiveclient
被NodeManager kill。 解决方案: 将ApplicationMaster的内存配置调大,在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数: “yarn.app.mapreduce.am.resource.mb”
通过资源计划在数据量变化前提前完成集群的扩缩容,避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩,两者既可同时配置也可单独配置。资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好,足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群
试次数有限制,默认是30次,每次间隔默认为30秒左右,每次重试时都会报上面的错误。超过次数后,driver才会退出。 RM中关于重试相关的配置项如表1所示。 表1 参数说明 参数 描述 默认值 yarn.resourcemanager.connect.max-wait.ms 连接RM的等待时间最大值。