检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群软件配置和硬件配置信息后，在“高级配置”页签的弹性伸缩栏，打开对应Task节点类型后的开关按钮，即可进行弹性伸缩规则及资源计划的配置或修改。 图1 创建集群时配置弹性伸缩 您可以参考以下场景进行配置： 场景一：单独配置弹性伸缩规则 场景二：单独使用资源计划 场景三：弹性伸缩规则与资源计划叠加使用
NameSpace的RWXA权限）和HDFS权限（对应HFile输出目录的读写权限）。 如果集群已启用Kerberos认证（安全模式），需修改Spark“客户端安装目录/Spark/spark/conf/spark-defaults.conf”配置文件中的“spark.yarn.security
并校验目录权限。在提交作业之前，应按照默认的NameService文件夹权限更改ViewFS文件夹权限。 下表列出了ViewFS中配置的目录的默认权限结构。如果配置的目录权限与下表不匹配，则必须相应地更改目录权限。 表1 ViewFS中配置的目录的默认权限结构 参数 描述 默认值
并校验目录权限。在提交作业之前，应按照默认的NameService文件夹权限更改ViewFS文件夹权限。 下表列出了ViewFS中配置的目录的默认权限结构。如果配置的目录权限与下表不匹配，则必须相应地更改目录权限。 表1 ViewFS中配置的目录的默认权限结构 参数 描述 默认值
HDFS运维管理 HDFS常用配置参数 HDFS日志介绍 查看HDFS容量状态 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题：
HDFS运维管理 HDFS常用配置参数 HDFS日志介绍 规划HDFS容量 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题： 使用HDFS
sh，查看主管理节点Controller的“ResHAStatus”是否为“Normal”，并可以重新登录FusionInsight Manager表示更改成功。 如果需要关闭加密模式，执行以下命令： ./enableRPCEncrypt.sh -f 执行sh ${BIGDATA_HOME}/
已安装客户端，具体请参考安装客户端章节。 已根据业务需要创建具有相应权限的组件业务用户。“机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。 执行以下命令配置环境变量并认证用户：
建议使用spark-sql或者在Beeline/JDBCServer模式下使用spark用户来执行INSERT...SELECT操作，避免执行更改文件owner的操作，从而减少执行INSERT...SELECT语句的时间。 在Beeline/JDBCServer模式下，executo
-1.99.3/server/webapps/loader/WEB-INF/ext-lib”。 使用root用户在主备节点分别执行以下命令修改权限： cd ${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Sqoop-1
已安装客户端，具体请参考安装客户端章节。 已根据业务需要创建具有相应权限的组件业务用户。“机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。 执行以下命令配置环境变量并认证用户：
keystore”和“flink.truststore”文件到新建的文件夹中。 mv flink.keystore flink.truststore ssl/ 修改“flink-conf.yaml”文件中如下两个参数为相对路径。 security.ssl.keystore: ssl/flink.keystore
所以使用基本的安全认证代码即可。 在“com.huawei.bigdata.hdfs.examples”包的“HdfsExample”类中修改“PRNCIPAL_NAME”为实际用户名，例如“developuser”。 private static final String PATH_TO_HDFS_SITE_XML
配置SSL传输，用户主要在客户端的“flink-conf.yaml”文件中做如下配置： 打开SSL开关和设置SSL加密算法，配置参数如表2所示，请根据实际情况修改对应参数值。 表2 参数描述 参数 参数值示例 描述 security.ssl.enabled true 打开SSL总开关 akka.ssl
“选择客户端类型”中选择“完整客户端”。 “仅配置文件”下载的客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了服务端配置，开发人员需要更新客户端配置文件的场景。 平台类型包括x86_64和aarch64两种： x86_64：可以部署在X86平台的客户端软件包。
如果要关闭，可参考如下操作： （可选）备份已存在的作业，然后删除所有作业。作业备份和导入可参考导入导出FlinkServer作业信息。 修改“ENABLE_DB_ENCRYPT”的值为“false”。 登录FlinkServer主备节点，将“$BIGDATA_HOME//FusionInsight_Flink_x
is-hwt4/input/ obs://obs-demo-analysis-hwt4/output/ 服务配置参数 用于为本次执行的作业修改服务配置参数。 保持默认不配置。 图5 添加作业 单击“确定”，开始提交作业，执行程序。 步骤4：查看作业执行结果 进入“作业管理”页面，查看作业执行状态。
建议使用spark-sql或者在Beeline/JDBCServer模式下使用spark用户来执行INSERT...SELECT操作，避免执行更改文件owner的操作，从而减少执行INSERT...SELECT语句的时间。 在Beeline/JDBCServer模式下，executo
或lastmodified 增量导入参数。 append：追加，比如对大于last-value指定的值之后的记录进行追加导入。 lastmodified：最后的修改时间，追加last-value指定的日期之后的记录。 -last-value (value) 增量导入参数，指定自从上次导入后列的最大值（
-1.99.3/server/webapps/loader/WEB-INF/ext-lib”。 使用root用户在主备节点分别执行以下命令修改权限： cd ${BIGDATA_HOME}/FusionInsight_Porter_xxx/install/FusionInsight-Sqoop-1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
