检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ng-xxx.jar xxx:表示Jar包的版本号。“LIB_JARS”和“HADOOP_CLASSPATH”中指定的Jar包的版本号需要根据实际环境的版本号进行修改。 运行前准备: 使用Hive客户端,在beeline中执行以下命令创建源表t1: create table t1(col1
单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的作业,在“操作”列单击“开发”进入作业开发界面。 在作业开发界面的“自定义参数”项中,根据实际需求添加如下参数并保存,热数据(常用及使用中数据)可参考表1,冷数据(不常用、较长时间未使用的数据)可参考表2。 表1 RocksDB状态后端存储
x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 (可选)支持MRS Manager页面以及组件原生页面超时时间可配置,需要手动修改如下配置。
8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client.tar”包。执行如下命令解压。 tar -xvf MRS_HDFS_Client.tar tar -xvf MRS_HDFS_ClientConfig.tar 由于不兼容老版本客户端,建议用户获取与服务端集群相同版本的客户端安装包进行安装部署。
ts from hudi_trips_point_in_time where fare > 20.0").show() 删除数据: # 获取记录总数 spark.sql("select uuid, partitionpath from hudi_trips_snapshot")
ts from hudi_trips_point_in_time where fare > 20.0").show() 删除数据: # 获取记录总数 spark.sql("select uuid, partitionpath from hudi_trips_snapshot")
ource bigdata_env。如果集群采用安全版本,要进行安全认证。执行kinit hdfs命令,按提示输入密码。向MRS集群管理员获取密码。 执行以下命令,均衡数据分布: hdfs balancer -threshold 10 等待几分钟,检查本告警是否恢复。 是,处理完毕。
不同集群的“user.keytab”、“krb5.conf”不能共用。 “conf”目录下的“log4j.properties”文件,客户可根据自己的需要进行配置。 代码样例 如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples的HdfsExample类。
ng-xxx.jar xxx:表示Jar包的版本号。“LIB_JARS”和“HADOOP_CLASSPATH”中指定的Jar包的版本号需要根据实际环境的版本号进行修改。 运行前准备: 使用Hive客户端,在beeline中执行以下命令创建源表t1: create table t1(col1
设置为true,Native加速需要用到JVM的off memory。 false spark.memory.offHeap.size 设置offHeap内存的大小,根据实际情况设置,初始可设置为1G。 -1 spark.yarn.dist.files 此参数用于将libch.so和libjsig.so分发
各组件的策略列表中,系统默认生成的条目会自动继承至安全区内,用于保证集群内的部分系统默认用户或用户组的权限。 单击“Add New Policy”,根据业务场景规划配置相关用户或者用户组的资源访问策略。 例如在本章节样例中,在安全区内配置一条允许“test”用户访问“/testzone/test”目录的策略:
> JVM”,将“HIVE_GC_OPTS/METASTORE_GC_OPTS”参数中“-XX:MaxDirectMemorySize”的值根据如下建议进行调整,并单击“保存”。 HiveServer的GC参数配置建议 建议将“-XX:MaxDirectMemorySize”值设置
e > JVM”,将“HIVE_GC_OPTS/METASTORE_GC_OPTS”参数中“-XX:MaxMetaspaceSize”的值根据如下建议进行调整,并单击“保存”。 HiveServer的GC参数配置建议 建议将“-XX:MaxMetaspaceSize”值设置成为“
x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
'world']); -- hello,world decode(binary bin, string charset) →varchar 描述:根据给定的字符集将第一个参数编码为字符串,支持的字符集包括('UTF-8', 'UTF-16BE', 'UTF-16LE', 'UTF-16'
onnectors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2
步骤七:删除Task节点:释放资源。 步骤一:添加Task节点 在MRS集群的集群详情页面,选择“节点管理”页签,单击“新增节点组”,进入“新增节点组”页面。 根据需求配置参数。 表1 新增节点组参数说明 参数名称 描述 节点规格 选择节点组内主机的规格类型。 节点数量 设置新增节点组内的节点数量。 系统盘
项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。
节点,放置到与准备放置编译出的jar包同目录的“conf”目录下,用于后续调测,例如“/opt/client/conf”。 准备开发用户时获取的keytab文件也放置于该目录下,主要配置文件说明如表2所示。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client
件中“JAVA_HOME”的值。 其中“JAVA_HOME”的值可通过登录正常启动Flume的节点,执行echo ${JAVA_HOME}获取。 ${install_home}为Flume客户端的安装路径。 父主题: 使用Flume