检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
代码样例 以下代码片段是导出用户列表的示例,在“rest”包的“ExportUsers”类的main方法中。
2 NUMBER_PENDING_REQUEST: 3 NUMBER_RESERVED_CONTAINER: 1 MASTER_CONTAINER_ID: application_1443067302606_0609_01 MASTER_CONTAINER_RESOURCE:
或“No available hive server......” 原因分析 对于开启Kerberos认证的集群,admin用户不具有操作Hue WebUI的权限。
客户端提示访问ZooKeeper失败 问题现象 安全集群中,HiveServer服务正常的情况下,通过jdbc接口连接HiveServer执行sql时报出ZooKeeper认证异常"The ZooKeeper client is AuthFailed",如下: 14/05/19 10
建议与总结 如果是开启Kerberos认证的集群,页面出现No data available优先排查权限问题。 父主题: 使用Hue
回答 登录HMaster WebUI,在导航栏选择“Procedure & Locks”,查看是否有处于Waiting状态的process id。
在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。 因而Driver和Executor的参数配置对Spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。
代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。
在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。 因而Driver和Executor的参数配置对Spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。
数据目录SSD和HDD的配置导致建表时偶现报错 现象描述 建表时偶现报错“Failed to find enough host with storage medium and tag”。
org.apache.hadoop.yarn.server.nodemanager.EnhancedLinuxContainerExecutor “yarn.nodemanager.linux-container-executor.user”配置运行container的用户。
通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。
代码样例 如下是写文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类和HdfsWriter类。
ARM环境python pipeline运行报139错误码规避方案 问题 在TaiShan服务器上,使用python插件的pipeline报错显示139错误。
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上,使用python插件的pipeline报错显示139错误。
告警附加信息中显示“Call CES to send metrics fail. Permission exception”,表示资源租户token失效。需要重启controller,重新获取token。
Hudi Schema演进并发说明 建表时需要指定hoodie.cleaner.policy.failed.writes = 'LAZY',否则并发提交时会触发rollback。
除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。
操作步骤 运行结果会有如下成功信息: ... 2020-01-09 10:43:49,338 INFO [main] examples.HBaseExample: Entering dropTable. 2020-01-09 10:43:49,341 INFO [main] client.HBaseAdmin
在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。 因而Driver和Executor的参数配置对spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。