检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用omm用户在主OMS节点执行如下命令重启集群所有节点NodeAgent。 $CONTROLLER_HOME/inst/restartAllNoes.sh 登录集群后台节点查看进程： ps -ef |grep NodeAgent 如果包含参数“-Dfastjson.parser.safeMode=true”，说明漏洞问题已经规避，如下图所示：
插入ClickHouse数据 本章节介绍插入ClickHouse数据样例代码。 创建ClickHouse表创建的表具有三个字段，分别是String、UInt8和Date类型。 示例代片段参考如下： String insertSql = "insert into " + databaseName
相关依赖jar包将自动下载，不需手动添加。 当样例代码使用其他FusionInsight组件时，例如Kafka等，请去对应FusionInsight组件的服务端安装目录查找并添加依赖包。样例工程对应的依赖包详情，请参见样例工程运行依赖包参考信息。 （可选）如果导入Scala语言开发的样例程序，还需要为工程设置语言。
Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
在Ranger实例页面，勾选“UserSync”实例，选择“更多 > 重启实例”。 在Ranger服务“概览”页面，单击“RangerAdmin”，查看“Settings > Users/Groups/Roles”页面是否有ldap用户。 父主题： 使用Ranger（MRS 3.x）
打开浏览器访问：华为提供开源镜像站（https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/），查看网站是否能正常访问。如果访问异常，请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020
fusioninsight-flume-Flume组件版本号/bin 执行以下命令，加密原始信息： ./genPwFile.sh 输入两次待加密信息。 执行以下命令，查看加密后的信息： cat password.property 如果加密参数是用于Flume Server，那么需要到相应的Flume Ser
shell命令前未配置环境变量。 当前MRS集群未安装HBase客户端。 处理步骤 使用root用户登录安装客户端的节点，切换到客户端安装目录，查看是否安装了HBase客户端。 是，执行2。 否，下载并安装HBase客户端，详细操作请参考安装客户端章节。 执行以下命令配置环境变量。 source
插入ClickHouse数据 本章节介绍插入ClickHouse数据样例代码。 创建ClickHouse表创建的表具有三个字段，分别是String、UInt8和Date类型。 示例代片段参考如下： String insertSql = "insert into " + databaseName
大小； 对于同时运行的task太多，主要看--executor-cores设置的vcore数量。 问题2： 需要在相应的task的日志里面查找异常原因。如果有OOM的情况，请参照问题1。 父主题： 使用Spark
检查是否有失败、失去响应的MapReduce、Spark任务，查看HDFS中“/tmp/logs/${username}/logs/${application id}”日志文件并排除问题。 检查Yarn的任务日志，查看失败、失去响应的任务日志，并删除重复数据。 检查Storm的worker日志。
Hudi Compaction操作说明 Compaction用于合并mor表Base和Log文件。 对于Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，更新被记录到增量文件，然后进行同步/异步compaction生成新版本的列式文件。Merge
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark
/jmx?qry=java.lang:type=Memory, cause: Forbidden 使用当前用户访问Yarn WebUI界面，无法查看作业信息： 使用当前用户登录Hue WebUI后，在界面左侧导航栏单击 ，选择“Workflow”后报错： 建议使用新建的具有对于组件管理
Hudi Compaction操作说明 Compaction用于合并mor表Base和Log文件。 对于Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，更新被记录到增量文件，然后进行同步/异步compaction生成新版本的列式文件。Merge
Hudi Cleaning操作说明 Cleaning用于清理不再需要的版本数据。 Hudi使用Cleaner后台作业，不断清除不需要的旧版本数据。通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。
Java样例代码 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase。
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*
Workflow”），可以直接单击该名称进行修改，例如“HDFS-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题： 使用Hue提交Oozie作业
WebUI”后的链接，进入HSConsole界面。 在“计算实例”页签，在待操作的实例所属租户所在行的“操作”列单击“配置”，进入“配置实例”页签。 查看“高级配置”的“是否开启维护实例”是否处于“是”，否则修改为“是”。 修改完成后，将“立即启动”置为“是”，单击“确定”。 父主题： 管理HetuEngine计算实例
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
