检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。
不支持实例级别的修改,需要在Yarn服务的配置中修改参数值,并重启Yarn服务。 单击“保存”,单击“确定”。重启NodeManager角色实例。 界面提示“操作成功”,单击“完成”,NodeManager角色实例成功启动。 父主题: Yarn企业级能力增强
authentication.keytab 安全模式中使用keytab认证,配置访问Loader服务的“机机”用户keytab文件目录,需包含绝对路径。
操作步骤 参数入口: 进入Mapreduce服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。
操作步骤 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。
参考修改集群服务配置参数章节,进入ZooKeeper服务“全部配置”页面。不断尝试调大ZooKeeper配置文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值,直到ZooKeeperServer正常。
如何对insert overwrite自读自写场景进行优化 场景说明 对于需要使用动态分区插入(使用历史分区更新)数据到目的表中,且和数据源表是同一张表时,由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险,建议先使用一个临时表来处理数据,再执行
使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序(Scala) 使用Spark执行Hudi样例程序(Python) 使用Spark执行Hudi样例程序(Java) 父主题: 开发Spark应用
Oozie样例程序开发思路 开发流程 工作流配置文件“workflow.xml”(“coordinator.xml”是对工作流进行调度,“bundle.xml”是对一组coordinator进行管理)与“job.properties”。 如果有实现代码,需要开发对应的jar包,例如
job.properties 功能描述 流程的属性定义文件,定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
PyFlink样例程序代码说明 通过Python API的方式提交Flink读写Kafka作业到Yarn上代码样例 下面列出pyflink-kafka.py的主要逻辑代码作为演示,在提交之前需要确保“file_path” 为要运行的SQL的路径,建议写全路径。 完整代码参见“flink-examples
以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。
配置HBase应用输出日志 功能介绍 将HBase客户端的日志单独输出到指定日志文件,与业务日志分开,方便分析定位HBase的问题。 如果进程中已经有log4j的配置,需要将“hbase-example\src\main\resources\log4j.properties”中RFA
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
<系统域名> ZooKeeper服务端principal。请联系管理员获取对应账号。 基本安全认证: Spark Core和Spark SQL程序不需要访问HBase或ZooKeeper,所以使用基本的安全认证代码即可。
Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的元数据
以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。