检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ar包并执行HDFS上更新了Oozie的share lib目录但没有生效。如果执行了更新“share lib”目录依然报找不到类，那么可以查看执行更新“share lib”的命令打印出来的路径“sharelibDirNew”是否是“ /user/oozie/share/lib”，
-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" ），如果频繁出现Full GC，需要优化GC。把RDD做Cache操作，通过日志查看RDD在内存中的大小，如果数据太大，需要改变RDD的存储级别来优化。 操作步骤 优化GC，调整老年代和新生代的大小和比例。在客户端的conf/spark-default
getOrCreate() import spark.implicits._ //通过隐式转换，将RDD转换成DataFrame，然后注册表 spark.sparkContext.textFile(args(0)).map(_.split(",")) .map(p
SQLContext(sc) import sqlContext.implicits._ //通过隐式转换，将RDD转换成DataFrame，然后注册表 sc.textFile(args(0)).map(_.split(",")) .map(p => FemaleInfo(p(0)
相比滚动方式安装补丁耗时更短。 少于2个Master节点和少于3个Core节点的集群不支持滚动方式安装补丁。 单击“是”，安装目标补丁。 查看补丁安装进度。 访问集群对应的MRS Manager，详细操作请参见访问MRS集群Manager。 选择“系统设置 > 补丁管理”，进入补丁管理页面即可看到补丁安装进度。
createTopology()); } Storm不支持将HDFS的目的文件路径设置为HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包，请参见打包Strom样例工程应用。 将1导出的本地Jar包，4中获取的配置文件和5中获取的jar包合并统一打出完整的业
各项操作权限。 配置完成后，勾选确认信息，并单击“确定”，并进行二次确认。 可以在页面右上角单击“运维”，选择“集群界面授权 > 查看授权信息”查看授权详细信息。 问题解决后，在页面右上角单击“运维”，选择“集群界面授权 > 关闭授权”为华为云支持人员取消访问权限。 巡检授权 M
续扩容”，确认扩容的磁盘容量信息无误后，单击“提交订单”。 以root用户登录到ClickHouse的扩容节点上，执行命令：df -hl，查看当前已有的数据目录和磁盘分区信息。 ClickHouse默认数据目录格式为：“/srv/BigData/dataN”。如上图举例所示，当前
500000块数，用户可根据需要调整内存值。 查看HDFS容量状态 NameNode信息 登录FusionInsight Manager，选择“集群 > 服务 > HDFS > NameNode(主)”，单击“Overview”，查看“Summary”显示的当前HDFS文件对象、
等全流程的样例工程。 开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果 程序运行结果会根据结果解析部分的实现显示到期望显示的地方。 调测HetuEngine应用 父主题： HetuEngine开发指南（普通模式）
是，操作结束。 否，执行4。 修改“/opt/Bigdata/tmp”目录权限 以root用户依次登录Master1、Master2节点。 查看Master1、Master2节点的“/opt/Bigdata/tmp”路径权限是否被修改。（权限默认为770） 如果被修改请执行以下命令
选择“NONE”表示不压缩数据。 NONE 单击“保存并运行”，开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面，待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题： 数据导出
在Spark应用程序运行节点，执行如下命令使用Spark Launcher方式提交。之后，可通过Spark WebUI查看运行情况，或通过获取指定文件查看运行结果。 java -cp $SPARK_HOME/conf:$SPARK_HOME/jars/*:SparkLauncherExample
密码。 执行hdfs dfs -rm -r 文件或目录路径命令，确认删除无用的文件。 检查本告警是否恢复。 是，处理完毕。 否，执行4。 查看DataNode JVM内存使用情况和当前配置。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务
x及之前版本集群）：在Manager页面单击“租户管理”。 在左侧租户列表，单击目标的租户。 单击“资源”页签，可以执行以下操作管理租户目录。 查看租户目录： 在“HDFS 存储”表格中查看相关信息。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。（MRS管理控制台为“文件/目录数上限”） 指定
主机名称加入资源池。只支持选择本集群中的主机。资源池中的主机列表可以为空。 单击“确定”保存。 完成资源池创建后，用户可以在资源池的列表中查看资源池的“名称”、“成员”、“类型”、“虚拟核数”与“内存”。已加入自定义资源池的主机，不再是“default”资源池的成员。 通过Manager添加资源池
选择“NONE”表示不压缩数据。 NONE 单击“保存并运行”，开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面，待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题： 创建Loader数据导出作业
Workflow”），可以直接单击该名称进行修改，例如“Shell-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 配置Shell命令为Linux指令时，请指定为原始指令，不要使用快捷键指令。例如：ls -l ,不
-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" ），如果频繁出现Full GC，需要优化GC。把RDD做Cache操作，通过日志查看RDD在内存中的大小，如果数据太大，需要改变RDD的存储级别来优化。 操作步骤 优化GC，调整老年代和新生代的大小和比例。在客户端的conf/spark-defaults
等全流程的样例工程。 开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果 程序运行结果会根据结果解析部分的实现显示到期望显示的地方。 父主题： HetuEngine开发指南（安全模式）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
