检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
独立资源池。 HetuEngine计算实例启动依赖Python3，需确保集群所有节点已安装Python3，并在“/usr/bin/”目录下添加Python软链接，可参考HetuEngine计算实例启动失败报错Python不存在。 HetuEngine服务处于正常运行状态。 创建HetuEngine计算实例步骤
FusionInsight_Cluster_1_Services_ClientConfig scp HDFS/config/* root@客户端节点IP地址:/opt/Bigdata/client/conf 准备MRS应用开发用户时获取的keytab文件也需放置于该目录下，主要配置文件说明如表2所示。
从Kafka中获取数据的组标识，此参数不能为空。 flume kafka.bootstrap.servers Kafka的bootstrap地址端口列表，默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步，可以不配置此项。 192.168.101
TTL 简介 初始化存量表的分区 开启/关闭TTL 添加/更新/删除/清空/查看TTL策略 手动立即执行TTL 父主题： Hudi SQL语法参考
在Hive表的元数据信息界面： 单击右上角的“导入”可导入数据。 单击“概述”，在“属性”域可查看表文件的位置信息。 可查看Hive表各列字段的信息，并手动添加描述信息，注意此处添加的描述信息并不是Hive表中的字段注释信息（comment）。 单击“样本”可浏览数据。 管理Hive元数据表 单击左侧列表中的
在Hive表的元数据信息界面： 单击右上角的“导入”可导入数据。 单击“概述”，在“属性”域可查看表文件的位置信息。 可查看Hive表各列字段的信息，并手动添加描述信息，注意此处添加的描述信息并不是Hive表中的字段注释信息（comment）。 单击“样本”可浏览数据。 管理Hive元数据表 单击左侧列表中的
自定义”，对参数文件“hive-site.xml”添加自定义参数，设置“名称”为“hive.restrict.create.grant.external.table”，“值”为“true”。 选择“MetaStore（角色） > 自定义”，对参数文件“hivemetastore-site.xml”添加自定义参数，设置“名称”为“hive
启用Ranger鉴权并为代理用户配置操作数据源的数据库、表、列的管理权限，具体操作请参考添加HetuEngine的Ranger访问权限策略。 集群已启用Kerberos认证（安全模式） 使用kinit指定认证用户（需为HetuEngine管理员用户，并额外添加supergroup用户组才能代理其他用户鉴权），如hetuadmin1。
memory”配置项或者“spark-env.sh”中的“SPARK_DRIVER_MEMORY”配置项设置为合适大小。 在使用spark-submit命令时，添加“--driver-memory MEM”参数设置内存。 配置Executor个数。 每个Executor每个核同时能跑一个task，所以
集群管理接口 创建集群 修改集群名称 创建集群并提交作业 扩容集群 缩容集群 集群添加组件 查询集群节点列表 父主题： API V2
Bundle”修改作业的名称。 单击“+添加Coordinator”选择需要编排的Coordinator作业。 根据界面提示设置Coordinator任务调度的开始、结束时间，然后单击右上角的保存作业。 单击编辑器右上角的，在弹出菜单选择，设置Bundle任务的启动时间，根据实际需求单击“+添加参数”设置提交参数，然后关闭对话框保存设置。
FS权限，才能运行HDFS样例工程。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称，例如hdfsrole。 编辑角色，在“权限”的表格中选择“HDFS > File System > hdfs:/
oader服务的“机机”用户keytab文件目录，需包含绝对路径。 zookeeper.quorum 配置连接ZooKeeper节点的IP地址和端口，参数值格式为“IP1:port,IP2:port,IP3:port”，以此类推。默认端口号为“2181”。 sqoop.server
华为提供开源镜像站，各服务样例工程依赖的Jar包通过华为开源镜像站下载，剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载，详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-Zip 16.04版本。 准备Python开发环境
FusionInsight_Cluster_1_Services_ClientConfig scp Storm/config/* root@客户端节点IP地址:/opt/client/conf 主要配置文件说明如表3所示。 表3 配置文件 文件名称 作用 storm.yaml 配置Storm集群信息。
FusionInsight_Cluster_1_Services_ClientConfig scp Yarn/config/* root@客户端节点IP地址:/opt/client/conf 检查客户端节点网络连接。 在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/
oader服务的“机机”用户keytab文件目录，需包含绝对路径。 zookeeper.quorum 配置连接ZooKeeper节点的IP地址和端口，参数值格式为“IP1:port,IP2:port,IP3:port”，以此类推。默认端口号为“2181”。 sqoop.server
FusionInsight_Cluster_1_Services_ClientConfig scp HetuEngine/config/* root@客户端节点IP地址:/opt/client/conf 主要配置文件说明如表4所示（根据需要获取所需文件）。 表4 配置文件 文件名称 作用 hdfs-site
conf配置文件中，在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数："-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps" ），如果频繁出现Full
服务 > Hive > 配置 > 全部配置”。 选择“HiveServer（角色） > 自定义”，对参数文件“hive-site.xml”添加自定义参数，设置“名称”为“hive.allow.only.admin.create”，“值”为“true”。 单击“保存”保存配置。单击
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
