检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
stopGracefullyOnShutdown”默认为“false”，系统不会完全等待AM正常退出，所以概率性的会出现有时能正常退出，任务状态显示失败，有时异常退出，状态未来得及上报的情况。 处理步骤 执行Spark Streaming任务时，添加Spark任务参数“--conf spark
依赖库文件夹同级的目录“src/main/resources”下，具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic，与样例代码中指定的Topic名称保
单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁卸载。 是，弹性伸缩关闭，检查结束。 检查FusionInsight Manager是否有正在运行的任务 登录FusionInsight
参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。 com
Module”，然后单击“Next”。如果您需要新建Java语言的工程，选择对应参数即可。 图2 选择开发环境 在工程信息页面，填写工程名称和存放路径，设置JDK版本，并勾选“Config later”（待工程创建完毕后引入scala的编译库文件），然后单击“Finish”完成工程创建。 图3
参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。 com
bigdata_env kinit 组件操作用户（例如developuser） 创建输入Topic和输出Topic，与样例代码中指定的Topic名称保持一致，输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper quorump
6 data points in 0.012s (504.0 points/s) 扫描OpenTSDB的指标数据 tsdb命令可以使用“tsdb query”命令批量查询导入的指标数据，例如执行tsdb query 0 1h-ago sum sys.cpu.user host=web01命令。
使用hive-table方式同步数据到obs上的hive表报错 使用hive-table方式同步数据到orc表或者parquet表失败 使用hive-table方式同步数据报错 使用hcatalog方式同步hive parquet表报错 使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错
登录华为云MRS管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查是否有正在运行的任务 登录FusionInsight Manager界面，查看右上角任务。
登录华为云MRS管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查是否有正在运行的任务 登录FusionInsight Manager界面，查看右上角任务。
文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值，直到ZooKeeperServer正常。 表1 参数说明 参数 描述 默认值 syncLimit follower与leader进行同步的时间间隔（时长为ticket时长的倍数）。如果在该时间范围内leader没响应，连接将不能被建立。
参数keyTab和principal根据实际情况修改。 问题：一旦提交配置文件后，flume agent即在占用资源运行，如何恢复到没有上传配置文件的状态？ 解决方法：提交一个内容为空的properties.properties文件。 父主题： Flume常见问题
通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied” HDFS用户可在其他用户目录下创建或删除文件 HDFS的DataNode一直显示退服中 内存不足导致HDFS
比对主备DBServer节点/srv/BigData/dbdata_service/data目录下的配置文件发现差距比较大。 解决办法 把主节点/srv/BigData/dbdata_service/data的内容拷贝到备节点，保持文件权限和属组与主节点一样。 修改postgresql.con
8.1.2.2/nodeagent/security/cert/subcert/certFile/ 将ca.crt文件下载到本地，以管理员的身份打开cmd。 输入如下命令： keytool -import -v -trustcacerts -alias ca -file "D:\xx\ca
8.1.2.2/nodeagent/security/cert/subcert/certFile/ 将ca.crt文件下载到本地，以管理员的身份打开cmd。 输入如下命令： keytool -import -v -trustcacerts -alias ca -file "D:\xx\ca
会导致任务失败。 在运行Colocation工程时，HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 设置系统的环境变量说明 Hadoop在安全认证的时候，需要获取客户端所在主机的域名（Default Realm，从环境变量USERDNSDO
登录Manager页面，选择“集群 > 服务 > JobGateway > 实例”，查看所有JobServer实例节点IP。 获取部署了JobServer的节点中，IP最小的节点（以下简称“最小IP节点”）。若最小IP节点更新服务客户端失败，执行3， 否则执行4。 若JobServer部署节点IP为：192
图1 创建工程 在“New Project”页面选择“Java”，然后配置工程需要的JDK和其他Java库。如图2所示。配置完成后单击“Next”。 图2 配置工程所需SDK信息 在会话框中填写新建的工程名称。然后单击Finish完成创建。 图3 填写工程名称 父主题： 准备MapReduce应用开发环境
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
