检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
BC二次样例； “客户端安装目录/JDBCTransaction”目录，用来调测事务二次样例。 登录客户端节点，进入jar文件上传目录下，修改文件权限为700。 cd 客户端安装目录/JDBC 或：cd 客户端安装目录/JDBCTransaction chmod 700 clickhouse-examples-*
Sqoop-*/server/webapps/loader/WEB-INF/ext-lib”。 使用root用户在主备节点分别执行以下命令修改Jar包权限： cd ${BIGDATA_HOME}/FusionInsight_Porter_*/install/FusionInsig
如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。 升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。 修改配置 MRS_3.2.0-LTS.1.6以及之后补丁，Spark支持视图表权限控制，开启方法（若之前有设置过，则跳过）：在JDBCServ
立即删除（immediate）。 解决办法 适当调大堆内存（xmx）的值。 将Spooldir source的deletePolicy策略更改为永不删除（never）。 父主题： 使用Flume
serviceDiscoveryMode=zooKeeper&zooKeeperNamespace=hsbroker --krb5-remote-service-name HTTP --krb5-config-path /opt/client/KrbClient/kerberos/var/krb5kdc/krb5
-1.99.3/server/webapps/loader/WEB-INF/ext-lib”。 使用root用户在主备节点分别执行以下命令修改权限： cd ${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Sqoop-1
已安装客户端，具体请参考安装客户端章节。 已根据业务需要创建具有相应权限的组件业务用户。“机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。 执行以下命令配置环境变量并认证用户：
所以使用基本的安全认证代码即可。 在“com.huawei.bigdata.hdfs.examples”包的“HdfsExample”类中修改“PRNCIPAL_NAME”为实际用户名，例如“developuser”。 private static final String PATH_TO_HDFS_SITE_XML
集群软件配置和硬件配置信息后，在“高级配置”页签的弹性伸缩栏，打开对应Task节点类型后的开关按钮，即可进行弹性伸缩规则及资源计划的配置或修改。 图1 创建集群时配置弹性伸缩 您可以参考以下场景进行配置： 场景一：单独配置弹性伸缩规则 场景二：单独使用资源计划 场景三：弹性伸缩规则与资源计划叠加使用
NameSpace的RWXA权限）和HDFS权限（对应HFile输出目录的读写权限）。 如果集群已启用Kerberos认证（安全模式），需修改Spark“客户端安装目录/Spark/spark/conf/spark-defaults.conf”配置文件中的“spark.yarn.security
一个拥有“Doris管理员权限”的角色绑定给该用户。 使用新建的用户dorisuser重新登录FusionInsight Manager，修改该用户初始密码。 集群未启用Kerberos认证（普通模式） 使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。
已安装客户端，具体请参考安装客户端章节。 已根据业务需要创建具有相应权限的组件业务用户。“机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。 执行以下命令配置环境变量并认证用户：
principal: test@HADOOP.COM Valid starting Expires Service principal 01/25/17 11:06:48 01/26/17 11:06:45 krbtgt/HADOOP.COM@HADOOP
日志文件较大，可以将此文件目录添加到“/etc/logrotate.d/syslog”中，让系统做日志老化 ，定时清理久远的日志 。 更改文件日志目录：sed -i '3 a/var/log/sudo/sudo.log' /etc/logrotate.d/syslog 可以根
如果用户需要不通过FusionInsight Manager访问Spark JobHistory页面，则需要将URL地址中的<hostname>更改为IP地址进行访问，或者在Windows系统的hosts文件中添加该域名信息。 父主题： Spark Core
is-hwt4/input/ obs://obs-demo-analysis-hwt4/output/ 服务配置参数 用于为本次执行的作业修改服务配置参数。 保持默认不配置。 图5 添加作业 单击“确定”，开始提交作业，执行程序。 步骤4：查看作业执行结果 进入“作业管理”页面，查看作业执行状态。
如果用户需要不通过FusionInsight Manager访问Spark JobHistory页面，则需要将URL地址中的<hostname>更改为IP地址进行访问，或者在Windows系统的hosts文件中添加该域名信息。 父主题： Spark Core
参数入口：登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置 > 全部配置”，进入HBase服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数章节。 表1 影响实时写数据配置项 配置参数 描述 默认值 hbase.wal.hsync 控制HLog文件在写入到HDF
manager-examples FusionInsight Manager API接口调用示例。 本工程调用Manager API接口实现集群用户的创建、修改及删除等操作。 MapReduce 开启Kerberos认证集群的样例工程目录“mapreduce-example-security”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
