检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi性能调优 性能调优方式 当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似。 推荐资源配置 mor表： 由于其本质上是写增量文件，调优可以直接根据Hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行
apache.org/dist/spark/docs/3.3.1/monitoring.html#rest-api。 准备运行环境 安装客户端。在节点上安装客户端，如安装到“/opt/client”目录。 REST接口 通过以下命令可跳过REST接口过滤器获取相应的应用信息。 安全模式下，J
处理步骤 登录Zookeeper客户端所在节点。 cd 客户端安装目录 source bigdata_env kinit 组件业务用户（未开启Kerberos认证集群跳过此步骤） 执行以下命令修改文件。 vim 客户端安装目录/zookeeper/conf/zoo.cfg 调大文件
r包路径一致）。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“
用Ranger鉴权，新增以下限制： 白名单限制：未配置的参数将不允许在客户端设置。白名单开关由Hive配置页面的“hive.security.whitelist.switch”参数控制，设置为“OFF”即可支持在客户端设置未配置的参数，存在安全风险，请谨慎操作。 不允执行refl
r包路径一致）。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“
enable”，需要设置该值为“true”，系统即可定期备份NameNode的数据。 HDFS需要开启DataNode数据存储路径 DataNode默认存储路径配置为：${BIGDATA_DATA_HOME}/hadoop/dataN/dn/datadir（N≥1），N为数据存放的目录个数。 例如：$
int恢复失败，那么Flink会回滚到之前那一次Checkpoint的状态文件进行恢复。所以可以增加Checkpoint保存数。 【示例】配置Checkpoint文件保存数为2： state.checkpoints.num-retained: 2 生产环境使用增量Rocksdb作为State
为什么spark-beeline运行失败报“Failed to create ThriftService instance”的错误 问题 为什么spark-beeline运行失败报“Failed to create ThriftService instance”的错误？ Beeline日志如下所示：
that it 问题根因： 报错中type为5时：在执行sqoop import命令时，会启动MapReduce任务，由于MRS Hadoop安装目录（/opt/Bigdata/FusionInsight_HD_*/1_*_NodeManager/install/hadoop/sha
keytab”，“/opt/female/krb5.conf”。 运行样例程序前，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“
创建Strom Topology 功能介绍 一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交，则需要在main函数中调用创建Topology的函数，并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com
OME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“
获取ZooKeeper的IP列表和端口、集群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient.properties中”读取。 /
OME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“
OME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“
作请参考查看Ranger审计信息。 Security Zone 配置安全区域，Ranger管理员可将各组件的资源切分为多个区域，由不同Ranger管理员为服务的指定资源设置安全策略，以便更好的管理，具体操作可参考配置Ranger安全区信息。 Settings 查看Ranger相关
支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时，可以在输入框使用关键字进行搜索。 高级查询配置 单击右上角的，对文件、函数、设置等信息进行配置。 查看快捷键 单击右上角的，可查看所有快捷键信息。 元数据浏览器使用介绍 访问Hue WebUI。 查看Hive表的元数据
OME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“
获取ZooKeeper的IP列表和端口、集群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient.properties中”读取。 /
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
