检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
master", "spark.yarn.jars", "spark.yarn.keytab", "spark.yarn.principal", "spark.yarn.credentials.file", "spark.yarn.credentials.renewalTime"
main()'”运行对应的应用程序工程。 使用Oozie客户端执行以下命令运行样例程序: oozie job -oozie https://Oozie业务IP:21003/oozie -config job.properties -run 其中需要提前将待使用样例工程目录“src\main\resources”中的“job
master", "spark.yarn.jars", "spark.yarn.keytab", "spark.yarn.principal", "spark.yarn.credentials.file", "spark.yarn.credentials.renewalTime"
hadoop.net.topology.node.switch.mapping.impl=org.apache.hadoop.net.ScriptBasedMapping 父主题: 使用Spark
/opt/client/bigdata_env命令配置环境变量。 执行kinit admin命令。 执行zkCli.sh -server ZooKeeper节点业务IP地址:2181连接ZooKeeper。 执行deleteall /recovering删除垃圾数据。然后执行quit退出ZooKeeper连接。
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。
组件配置类 MRS是否支持Hive on Kudu? MRS集群是否支持Hive on Spark? 如何修改DBService的IP地址? Kafka支持的访问协议类型有哪些? MRS集群中Spark任务支持哪些Python版本? MRS 2.1.0版本集群对Storm日志的大小有什么限制?
超过20MB的时,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”,最多保留最近的20个压缩文件。 表1 Ranger日志列表 日志类型 日志文件名 描述 RangerAdmin运行日志 access_log
main()'”运行对应的应用程序工程。 使用Oozie客户端执行以下命令: oozie job -oozie https://Oozie业务IP:21003/oozie -config job.properties -run 其中需要提前将待使用样例工程目录“src\main\resources”中的“job
master", "spark.yarn.jars", "spark.yarn.keytab", "spark.yarn.principal", "spark.yarn.credentials.file", "spark.yarn.credentials.renewalTime"
main()'”运行对应的应用程序工程。 使用Oozie客户端执行以下命令: oozie job -oozie https://Oozie业务IP:21003/oozie -config job.properties -run 其中需要提前将待使用样例工程目录“src\main\resources”中的“job
authorization.plugin.HiveAccessControlException: Permission denied: Principal [name=xxx, type=USER] does not have following privileges for operation
"65382450e8f64ac0870cd180d14e684b", "name": "region_id", "description": "", "links": { "next": null,
登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名并确认主机名所在的IP地址。 扩容告警上报节点的磁盘容量。 扩容失败,或扩容后告警仍然没有消除,执行4。 收集故障信息 在FusionInsight Manager界面,选择“运维
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。
5817610 secs] 4153654K->3843458K(4160256K), [CMS Perm : 27335K->27335K(45592K),2.5820080 SECS] [Times: user=2.63, sys0.00, real=2.59 secs] 用户业务配置的Spooldir
Core节点是存放集群业务数据的节点,在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点,即完成各个组件的退服之后,才会执行缩容的后续操作(节点退出Manager和删除ECS等)。在选择Core节点时,会优先选择存储数据量较小,且可退服实例健康状态良好的节点,避免节点退服失败。例如在分析集群上,Core节点安装
properties”文件: iotdb_ssl_enable=true jdbc_url=jdbc:iotdb://IoTDBServer实例IP地址:IoTDBServer RPC端口 # 进行认证的用户名 username=developuser # 进行认证的用户密码,该密码建议密文存放,使用时解密,确保安全。