检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
refresh components client config. 界面显示以下信息表示用户名或者密码错误： login manager failed,Incorrect username or password. 该脚本会自动连接到集群并调用refreshConfig.sh脚本下载并刷新客户端配置文件。
向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 问题 向动态分区表中插入数据时，shuffle过程中大面积shuffle文件损坏（磁盘掉线、节点故障等）后，为什么会在重试的task中出现"Failed to CREATE_FILE"异常？
合后的container日志？ 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时，就开启了container日志聚合功能。日志聚合功能是指：当应用在Yarn上执行完成后，NodeManager将本节点中所有container的日志聚合
olicy]', retain_commits=>'[retain_commits]', hours_retained=> '[hours_retained]', file_versions_retained=> '[file_versions_retained]'); 参数描述
apreduce/jobhistory”（审计日志） Container：“/srv/BigData/hadoop/data1/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中，
合后的container日志？ 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时，就开启了container日志聚合功能。 日志聚合功能是指：当应用在Yarn上执行完成后，NodeManager将本节点中所有container的日志聚
在Windows中调测Impala JDBC应用 运行样例。 导入和修改样例后，即可在开发环境中，右击“ExampleMain.java”，选择“ExampleMain.main()”运行对应的应用程序工程。 使用Windows访问MRS集群来操作Impala，有如下两种方式。 方法一：
行失败，出现如下类似报错：“获取Sftp通道失败。xxx (原因是: failed to send channel request)”。 SFTP服务出现如下报错：“subsystem request failed on channel 0. Connection closed”。
sum(netpaid) paid from ssales where i_color = 'chiffon' group by c_last_name ,c_first_name ,s_store_name having sum(netpaid) > (select
sum(netpaid) paid from ssales where i_color = 'chiffon' group by c_last_name ,c_first_name ,s_store_name having sum(netpaid) > (select
Flink作业运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。 运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中。
配置Yarn本地化日志级别 配置场景 container本地化默认的日志级别是INFO。用户可以通过配置“yarn.nodemanager.container-localizer.java.opts”来改变日志级别。 配置描述 在Manager系统中，选择“集群 > 待操作集群的名称
dir中定义的磁盘数量等于dfs.datanode.failed.volumes.tolerated的值时，DataNode启动失败 问题 当“dfs.datanode.data.dir”中定义的磁盘数量等于“dfs.datanode.failed.volumes.tolerated”的值时，DataNode启动失败。
dir中定义的磁盘数量等于dfs.datanode.failed.volumes.tolerated的值时，DataNode启动失败 问题 当“dfs.datanode.data.dir”中定义的磁盘数量等于“dfs.datanode.failed.volumes.tolerated”的值时，DataNode启动失败。
Flink作业运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。 运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中。
Hive客户端执行SQL报错连接超时 现象描述 Hive客户端执行SQL失败，报错：Timed out waiting for a free available connection。 可能原因 DBService连接较多，获取连接超时。 操作步骤 客户端是否使用Spark-SQL客户端执行SQL。
一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交，则需要在main函数中调用创建Topology的函数，并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com.huawei.storm.example.wordcount
jar的方式提交，则需要在main函数中调用创建Topology的函数，并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com.huawei.storm.example.wordcount包的“WordCountTopology”类的“main”方法中，作用在于构建应用程序并提交。
数据大小（dataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行spark，或者yarn模式但是只分配一个container。 入湖程序的并行度p设置：建议p = (dataSize)/128M，程序分配core的数量保持和p一致即可。内存设置建议内存大小和core的比例大于1
Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
