检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user
不支持在Windows环境下运行。 操作步骤 生成MapReduce应用可执行包。 执行mvn package生成jar包，在工程目录target目录下获取，比如“mapreduce-examples-1.0.jar”。 上传生成的应用包“mapreduce-examples-1
Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证
properties.setProperty("user", "hivetest"); properties.setProperty("SSL", "true"); properties.setProperty("KerberosConfigPath", PATH_TO_KRB5_CONF);
Broker提供数据接收、获取服务 ssl.port 9093 21008 Broker提供数据接收、获取服务的SSL端口 sasl.port 21007 21007 Broker提供SASL安全认证端口，提供安全Kafka服务 sasl-ssl.port 21009 21009
<HSFabricIP2:port2>,<HSFabricIP3:port3>/hive/default?serviceDiscoveryMode=hsfabric&SSL=false。 表2 HSbroker连接参数 参数名 参数值 数据连接名称 自定义 驱动 io.prestosql.jdbc.PrestoDriver
IoTDB > 配置”，搜索“ssl”，配置以下参数并单击“保存”。 将“IoTDB->ConfigNode”的“SSL_ENABLE”参数值修改为“false”。 将“IoTDB->IoTDBServer”的“enable_https”和“SSL_ENABLE”的参数值都修改为“false”。
更新MRS集群节点omm用户ssh密钥 操作场景 在安装集群时，系统将自动为omm用户生成ssh认证私钥和公钥，用来建立节点间的互信。在集群安装成功后，如果原始私钥不慎意外泄露或者需要使用新的密钥时，系统管理员可以通过以下操作手动更改密钥值。 该章节仅适用于MRS 3.x及之后版本。
rquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表，使用列
Hive输出 概述 “Hive输出”算子，用于配置已生成的字段输出到Hive表的列。 输入与输出 输入：需要输出的字段 输出：Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式（目前支持四种格式：CSV、ORC、RC和PARQUET）。
Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储
Hive输出 概述 “Hive输出”算子，用于配置已生成的字段输出到Hive表的列。 输入与输出 输入：需要输出的字段 输出：Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式（目前支持四种格式：CSV、ORC、RC和PARQUET）。
connect(driver, url, {"user": user, "SSL": "true", "password": password
Hive通过Tez引擎执行union相关语句写入的数据，切换到Mapreduce引擎后进行查询，发现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时，生成的输出文件会存在HIVE_UNION_SUBDIR目录，切回Mapreduce引擎后默认不读取目录下的文件，所以没有读取到HIVE_UNION_SUBDIR目录下的数据。
ssh”目录存在。 使用omm用户登录Oozie所在节点，查看“~/.ssh/id_rsa.pub”文件是否存在。 是，执行3。 否，执行以下命令生成公私钥： ssh-keygen -t rsa 以omm用户登录oozie实例所在节点，执行以下命令配置互信： ssh-copy-id -i
回答 bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile文件频繁的触发Compaction，导致查询速度急剧下降。
由于Hive使用Tez引擎在执行union语句时，生成的输出文件会保存在HIVE_UNION_SUBDIR目录中，而Presto默认不读取子目录下的文件，所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 处理步骤 在集群详情页面选择“组件管理 > Presto > 服务配置”。 切换“基础配置”为全部配置“。
优化节点间互信失效告警，自动恢复功能。 重启Agent进程，如果这个Agent节点安装有服务健康检查配置的关键实例，将会误报服务不可用告警。 运维通道功能校验签名失败后任务阻塞。 节点内存打满，MRS集群磁盘出现踢盘，盘分区丢失。 租户资源修改用户策略功能无法使用。 空间聚合指标聚合时使用了实时数据聚合，导致聚合的数据不准确。
FSTableDescriptor继承自org.apache.hadoop.hbase.HTableDescriptor，没有新增接口，但是如果要使用JAVA接口创建HFS表来存储文件，必须使用该类。 org.apache.hadoop.hbase.filestream.client.FSPut继承自org.apache
"${BIGDATA_ROOT_HOME}/om-server_*/Apache-httpd-*/conf/security/proxy_ssl.cert" SSLCertificateKeyFile "${BIGDATA_ROOT_HOME}/om-server_*/Ap
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
