检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决HMaster频繁出现进程故障告警问题 大数据组件 解决jobhistory内存泄漏问题 解决Hive truncate表超时失败问题 解决Hive增量任务失败后表数据文件不存在问题 解决Hive sql运行异常问题 解决安全集群创建carbon表后生成的目录hive组没权限,其他用户不能创建carbon表的问题
java,右键工程,选择“Run 'ColocationExample.main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。
e"); // 请仔细阅读此内容: // MapReduce任务通过JDBC方式访问Hive // Hive会将sql查询封装成另一个MapReduce任务并提交 // 所以不建议在MapReduce作业中调用Hive
e"); // 请仔细阅读此内容: // MapReduce任务通过JDBC方式访问Hive // Hive会将sql查询封装成另一个MapReduce任务并提交 // 所以不建议在MapReduce作业中调用Hive
不匹配同一个子网时,集群会创建失败,请仔细填写参数。当仅填写“subnet_name”一个参数且VPC下存在同名子网时,创建集群时以VPC平台第一个名称的子网为准。推荐使用“subnet_id”。 取值范围: 不涉及 默认取值: 不涉及 components 是 String 参数解释:
SAS:高IO SSD:超高IO GPSSD:通用型SSD 说明: MRS集群内节点个数越多,对管理节点(即Master节点)的硬盘容量要求越高。为了保证集群能够健康地运行,当创建的节点个数达到300时,建议将Master的硬盘容量配置成600 GB以上;当创建的节点个数达到500时,建议将
绑定角色或者加入绑定角色的用户组,才能获得权限。 HetuEngine的权限管理是指HetuEngine中管理用户操作数据库的权限系统,以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等,需要获取相应的权限才能进行操作,否则会被拒绝。 Het
Manager”区域内,单击组件名称下的权限插件名称,即可进入组件安全访问策略列表页面。 各组件的策略列表中,系统默认会生成部分条目,用于保证集群内的部分默认用户或用户组的权限(例如supergroup用户组),请勿删除,否则系统默认用户或用户组的权限会受影响。 单击“Add New
Boolean true:确保在进行CheckPoint时读出缓冲区中的数据,默认值为“true”。 false:Sink将不对请求的一致性提供保证。在进行CheckPoint时,对于进行中的请求,Sink将不再等待Elasticsearch的执行完成确认。 sink.bulk-flush
境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例):
/krb5.conf”。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,使用java -cp命令运行代码(类名与文件名等请与实际代码保持一致,此处仅为示例): 运行Java样例代码:
包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例):
包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例):
在作业参数配置页面,选取左侧“pgsql”图标拖入右侧编辑区域,然后双击此图标进入PgSQL作业参数配置窗口,相关作业参数介绍请参见创建CDL数据同步任务作业。 表3 PgSQL作业参数 参数名称 示例 Link pgsqllink Tasks Max 1 Mode insert、update、delete
path.root”,例如: high-availability.zookeeper.path.root: flink2 重新提交Flink任务。 Flink客户端执行命令报错security.kerberos.login.keytab 客户端安装成功,执行客户端命令例如yarn-session
5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。 重启所有的IndexServer2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。 等待10分钟,观察界面告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息 在FusionInsight Manager界面,选择“运维
1倍速率调大。多业务量、高并发的情况可以考虑增加实例。 重启所有的IndexServer2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。 等待10分钟,观察界面告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息 在FusionInsight Manager界面,选择“运维
Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
sql.adaptive.enabled 自适应执行特性的总开关。 注意:AQE特性与DPP(动态分区裁剪)特性同时开启时,SparkSQL任务执行中会优先执行DPP特性,从而使得AQE特性不生效。集群中DPP特性是默认开启的,因此开启AQE特性的同时,需要将DPP特性关闭。 false
SparkOnStreamingToHbase。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: /** * 运行streaming任务,根据value值从hbase table1表读取数据,把两者数据做操作后,更新到hbase table1表 */ object Sp