检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SSL传输,用户主要在客户端的“flink-conf.yaml”文件中做如下配置: 打开SSL开关和设置SSL加密算法,配置参数如表2所示,请根据实际情况修改对应参数值。 表2 参数描述 参数 参数值示例 描述 security.ssl.internal.enabled true 打开内部SSL开关。
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。 升级安装失败或者重试后仍然失败,不能直接回滚,请联系运维人员。 修改配置 MRS_3.2.0-LTS.1.6以及之后补丁,Spark支持视图表权限控制,开启方法(若之前有设置过,则跳过):在JDBCServ
一个拥有“Doris管理员权限”的角色绑定给该用户。 使用新建的用户dorisuser重新登录FusionInsight Manager,修改该用户初始密码。 集群未启用Kerberos认证(普通模式) 使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。
Sqoop-*/server/webapps/loader/WEB-INF/ext-lib”。 使用root用户在主备节点分别执行以下命令修改Jar包权限: cd ${BIGDATA_HOME}/FusionInsight_Porter_*/install/FusionInsig
mm用户。 sudo su - omm 执行以下命令切换到客户端安装目录。 提前已安装集群客户端,以下客户端安装目录为举例,请根据实际情况修改。 cd /opt/client 执行以下命令,更新主管理节点的客户端配置。 sh refreshConfig.sh /opt/client
集群软件配置和硬件配置信息后,在“高级配置”页签的弹性伸缩栏,打开对应Task节点类型后的开关按钮,即可进行弹性伸缩规则及资源计划的配置或修改。 图1 创建集群时配置弹性伸缩 您可以参考以下场景进行配置: 场景一:单独配置弹性伸缩规则 场景二:单独使用资源计划 场景三:弹性伸缩规则与资源计划叠加使用
NameSpace的RWXA权限)和HDFS权限(对应HFile输出目录的读写权限)。 如果集群已启用Kerberos认证(安全模式),需修改Spark“客户端安装目录/Spark/spark/conf/spark-defaults.conf”配置文件中的“spark.yarn.security
Config(); // 配置安全插件 setSecurityPlugin(conf); if (args.length >= 2) { // 用户更改了默认的keytab文件名,这里需要将新的keytab文件名通过参数传入 conf.put(Config.TOPOLOGY_KEYTAB_FILE
-1.99.3/server/webapps/loader/WEB-INF/ext-lib”。 使用root用户在主备节点分别执行以下命令修改权限: cd ${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Sqoop-1
已安装客户端,具体请参考安装客户端章节。 已根据业务需要创建具有相应权限的组件业务用户。“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。 执行以下命令配置环境变量并认证用户:
keystore”和“flink.truststore”文件到新建的文件夹中。 mv flink.keystore flink.truststore ssl/ 修改“flink-conf.yaml”文件中如下两个参数为相对路径。 security.ssl.keystore: ssl/flink.keystore
所以使用基本的安全认证代码即可。 在“com.huawei.bigdata.hdfs.examples”包的“HdfsExample”类中修改“PRNCIPAL_NAME”为实际用户名,例如“developuser”。 private static final String PATH_TO_HDFS_SITE_XML
配置SSL传输,用户主要在客户端的“flink-conf.yaml”文件中做如下配置: 打开SSL开关和设置SSL加密算法,配置参数如表2所示,请根据实际情况修改对应参数值。 表2 参数描述 参数 参数值示例 描述 security.ssl.enabled true 打开SSL总开关 akka.ssl
“选择客户端类型”中选择“完整客户端”。 “仅配置文件”下载的客户端配置文件,适用于应用开发任务中,完整客户端已下载并安装后,管理员通过Manager界面修改了服务端配置,开发人员需要更新客户端配置文件的场景。 平台类型包括x86_64和aarch64两种: x86_64:可以部署在X86平台的客户端软件包。
如果要关闭,可参考如下操作: (可选)备份已存在的作业,然后删除所有作业。作业备份和导入可参考导入导出FlinkServer作业信息。 修改“ENABLE_DB_ENCRYPT”的值为“false”。 登录FlinkServer主备节点,将“$BIGDATA_HOME//FusionInsight_Flink_x
LoadIncrementalHFiles /user/hbase/output_t1 t1 以上为迁移用户数据的过程,旧集群的索引数据迁移只需按照前三步操作,并更改相应表名为索引表名(如,t1_idx)。 迁移索引数据时无需执行4。 向新集群表中导入索引数据。 在新集群的用户表中添加与之前版本用户表相
jute.maxbuffer 指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。 说明: 如果更改此选项,则必须在所有服务器和客户端上设置该系统属性,否则将出现问题。 0xfffff 父主题: ZooKeeper常见问题
批量刷新hosts文件 执行批量升级前准备操作。 检查需要更新“/etc/hosts”文件的节点的配置用户是否为“root”。 是,执行3。 否,更改配置用户为“root”,再执行3。 执行以下命令,批量刷新客户端所在节点的“/etc/hosts”文件。 sh client_batch_upgrade
jute.maxbuffer 指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。 说明: 如果更改此选项,则必须在所有服务器和客户端上设置该系统属性,否则将出现问题。 0xfffff 父主题: ZooKeeper常见问题