检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FusionInsight_Cluster_1_Services_ClientConfig scp HBase/config/* root@客户端节点IP地址:/opt/client/conf 准备MRS应用开发用户时获取的keytab文件也放置于该目录下。 检查客户端节点网络连接。 在安装客户
信息从LDAP中自动同步,Role可手动添加。 登录Ranger管理页面。 选择“Settings > Users/Groups/Roles > Roles > Add New Role”。 根据界面提示填写Role的名称与描述信息。 添加Role内需要包含的用户、用户组、子Role信息。
修改ClickHouse租户资源配额后,需要重新登录ClickHouse客户端才能生效。 添加用户并绑定租户 新添加用户绑定租户:登录FusionInsight Manager,选择“系统 > 权限 > 用户”,单击“添加用户”,添加一个人机用户,在角色中添加创建ClickHouse租户的租户。此时该用户具有ClickHouse逻辑集群权限。
overwrite操作将会把此目录下的其他表文件也一起复写。 由于Spark SQL当前的实现机制,如果对此种场景添加检查限制,会存在一致性问题和性能问题,因此未对此种场景添加限制,但是用户应避免此种用法,以避免此场景带来的各种问题。 父主题: Spark2x常见问题
Bundle”修改作业的名称。 单击“+添加Coordinator”选择需要编排的Coordinator作业。 根据界面提示设置Coordinator任务调度的开始、结束时间,然后单击右上角的保存作业。 单击编辑器右上角的,在弹出菜单选择,设置Bundle任务的启动时间,根据实际需求单击“+添加参数”设置提交参数,然后关闭对话框保存设置。
将“spark-defaults.conf”中的“spark.driver.memory”配置项设置为合适大小。 在使用spark-submit命令时,添加“--driver-memory MEM”参数设置内存。 配置Executor个数。 每个Executor每个核同时能跑一个task,所以
将“spark-defaults.conf”中的“spark.driver.memory”配置项设置为合适大小。 在使用spark-submit命令时,添加“--driver-memory MEM”参数设置内存。 配置Executor个数。 每个Executor每个核同时能跑一个task,所以
执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark.kerberos.keytab=<keytab文件路径> --conf spark.kerberos.principal=<Principal账号> 执行bin/spark-submit的命令中添加如下参数来指定认证信息。
执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark.kerberos.keytab=<keytab文件路径>--conf spark.kerberos.principal=<Principal账号> 执行bin/spark-submit的命令中添加如下参数来指定认证信息。
执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark.yarn.keytab=<keytab文件路径> --conf spark.yarn.principal=<Principal账号> 执行bin/spark-submit的命令中添加如下参数来指定认证信息。
FusionInsight_Cluster_1_Services_ClientConfig scp Spark2x/config/* root@客户端节点IP地址:/opt/client/conf 表3 配置文件 文件名称 作用 carbon.properties CarbonData配置文件。 core-site
其中在Session对象的参数里,设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight Manage界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight
其中在Session对象的参数里,设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight Manage界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight
磁盘写入的小文件过多。 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,获取告警所在主机地址和磁盘分区。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令df -i | grep -iE "
登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以客户端安装用户,登录客户端的节点,执行如下命令: cd {客户端安装路径} source bigdata_env 集群已启用Kerberos认证(安全模式):
登录FusionInsight Manager,选择“运维 > 告警 > 告警”,选中“告警ID”为“50228”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 单击“阈值设置”,选择“待操作的集群名称 > Doris > 租户资源 > 租户内存使用率超过阈值”,查看并记录该告警的阈值。 选择“集群
cores”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_CORES”配置项设置为合适大小。 在使用spark-submit命令时,添加“--executor-cores NUM”参数设置核数。 配置Executor内存。 将“spark-defaults.conf”中的“spark
cores”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_CORES”配置项设置为合适大小。 在使用spark-submit命令时,添加“--executor-cores NUM”参数设置核数。 配置Executor内存。 将“spark-defaults.conf”中的“spark
FusionInsight_Cluster_1_Services_ClientConfig scp HDFS/config/* root@客户端节点IP地址:/opt/client/conf 准备MRS应用开发用户时获取的keytab文件也需放置于该目录下,主要配置文件说明如表2所示。 表2 配置文件
从Kafka中获取数据的组标识,此参数不能为空。 flume kafka.bootstrap.servers Kafka的bootstrap地址端口列表,默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。当使用Flume客户端时,必须配置此项。