检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用调优 Spark Core调优 SQL和DataFrame调优 Spark Streaming调优 Spark CBO调优 父主题： Spark应用开发常见问题
执行useradd命令新增系统用户，例如“testuser”。 图2 新增系统用户testuser 用户添加完成后等待1分钟左右，登录到Ranger WebUI，即可查看到该用户已经同步成功。 图3 用户同步完成 父主题： 使用Ranger（MRS 1.9.2）
omm-W。登录Oozie管理页面，查看运行情况。 使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中，可在页面表格根据jobid查看已提交的工作流信息。 父主题： 使用Oozie客户端提交作业
周边云服务对接 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 使用MRS Hive表对接OBS文件系统 MRS Hive对接CSS服务配置说明
Configuration对象，用于创建Connection对象。 用对应的Connection对象操作HBase表，包括建表、插入数据、查看数据并进行打印。 父主题： Spark同时访问两个HBase样例程序
Workflow”），可以直接单击该名称进行修改，例如“Streaming-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题： 使用Hue提交Oozie作业
过“新建”创建新的目录。 单击“导入数据”，通过单击“浏览”选择OBS和HDFS路径。 单击“确定”。 文件上传进度可在“文件操作记录”中查看。 父主题： 应用开发类
Workflow”），可以直接单击该名称进行修改，例如“Streaming-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题： 使用Hue提交Oozie作业
-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" ），如果频繁出现Full GC，需要优化GC。把RDD做Cache操作，通过日志查看RDD在内存中的大小，如果数据太大，需要改变RDD的存储级别来优化。 操作步骤 优化GC，调整老年代和新生代的大小和比例。在客户端的“conf/spark-default
alterGlobalIndicesInactive() 禁用用户指定的索引，且放弃生成索引数据，不再可用于scan/filter操作，通常用于索引修复流程。 查看已创建的索引 listIndices() 可用于列出给定表中的所有索引。 父主题： HBase常见问题
录/FusionInsight_Doris_*/1_*_BE/etc/ENV_VARS”中的“CURRENT_INSTANCE_IP”变量查看。 “priority_network”主要用于帮助系统选择正确的网卡IP作为FE或BE的IP，建议任何情况下，都显式的设置该参数，避免后
Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
Hive支持ZSTD压缩格式 ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC，RCFile，TextFi
MRS 3.1.5版本说明 发布日期 MRS 3.1.5 2023年3月28日 更新内容 服务模块 主要变更点 CarbonData 升级到2.2.0版本。 ClickHouse 支持通过FusionInsight Manager备份恢复元数据及业务数据。 Flink 升级到1.12
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark
m-W”。登录Oozie管理页面，查看运行情况。 使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中，可在页面表格根据“job id”查看已提交的工作流信息。 父主题： 使用Oozie客户端提交作业
续扩容”，确认扩容的磁盘容量信息无误后，单击“提交订单”。 以root用户登录到ClickHouse的扩容节点上，执行命令：df -hl，查看当前已有的数据目录和磁盘分区信息。 ClickHouse默认数据目录格式为：“/srv/BigData/dataN”。如上图举例所示，当前
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
