检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改服务配置参数并重启生效后,需要重新下载并安装客户端,或者下载配置文件刷新客户端。 通过管理控制台修改参数 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“组件管理”。 图1 组件管理 单击服务列表中指定的服务名称。 单击“服务配置”。将页面
单击sparksql文件系统名称,并选择“文件”。 单击“新建文件夹”,创建input文件夹。 进入input文件夹,单击“上传文件 > 添加文件”,选择本地的txt文件,然后单击“上传”。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 将OBS中的txt文件导入至HDFS中。
配置 > 全部配置 > HMaster(角色) > 自定义”,在“hbase.hmaster.config.expandor”自定义参数中添加配置“hbase.status.multicast.ni.name”,值为挂载业务IP的网卡名称。 使用客户端安装用户登录安装了HBase客户端的节点。
运行Hive客户端命令,实现A业务。 内部表操作 执行以下命令登录Hive客户端命令行: beeline 根据表1创建用户信息表user_info并添加相关数据,例如: create table user_info(id string,name string,gender string,age
sight Manager创建的角色中关于该组件的权限将失效(HDFS与Yarn的组件ACL规则仍将生效),用户需通过Ranger管理界面添加策略进行资源的赋权。 Ranger的权限模型由多条权限策略组成,权限策略主要由以下几方面组成: 资源 组件所提供的可由用户访问的对象,例如
新Partition数目建议配置为Kafka数据磁盘数量的倍数。 当前步骤修改可能不会很快解决当前告警,需要结合数据保存时间逐渐均衡数据。 考虑是否需要扩容。 是,请为集群添加节点,然后执行17。 否,执行17。 等待一段时间,检查告警是否清除。 是,操作结束。 否,执行18。 收集故障信息。 在MRS Manager界面,单击“系统设置
already cancelled问题 解决实例配置页面无单位转换问题 解决相同AZ下,扩容的节点返回的AZ有误问题 解决[YARN-10854]问题 添加自定义的超时推测机制 使hive.mapreduce.per.task.max.splits适用于Tez GetSplit的listStatus优化
Kafka > 实例”。查看任意一个Broker角色实例的业务IP地址。例如获取到的IP为“192.168.20.36”。 Kafka集群端口号安全模式下是21007,普通模式下是9092。 客户端ID:可以在登录Kafka客户端后执行以下命令,查看返回结果中“CLIENT-ID”参数
ClickHouse集群管理 ClickHouse集群配置说明 ClickHouse增加磁盘容量 父主题: ClickHouse运维管理
回滚补丁 回滚补丁前检查 回滚补丁 卸载补丁后操作 父主题: MRS 3.1.0 运维通道补丁说明
如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台启停节点角色
时间,添加该参数可限制重写所带来的性能损耗,物化视图重写超时后会执行原始SQL。 若使用Session级别开启物化视图功能,并需要开启物化视图重写超时控制,可先执行set session materialized_view_rewrite_timeout = 5。 参数添加完成后,
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:OnOutOfMemoryError='kill -9 %p' 父主题: Spark应用开发常见问题
使用spark-submit或者spark-sql运行SQL语句,执行3。 使用spark-beeline运行SQL语句,执行4。 执行SQL语句时,需要添加参数“--driver-memory”,设置内存大小,例如: /spark-sql --master=local[4] --driver-memory=512M
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
使用spark-submit或者spark-sql运行SQL语句,执行3。 使用spark-beeline运行SQL语句,执行4。 执行SQL语句时,需要添加参数“--driver-memory”,设置内存大小,例如: /spark-sql --master=local[4] --driver-memory=512M
入了Clustering服务来重写数据以优化Hudi数据湖文件的布局。 Clustering服务可以异步或同步运行,Clustering会添加了一种新的REPLACE操作类型,该操作类型将在Hudi元数据时间轴中标记Clustering操作。 Clustering服务基于Hudi
SNAPPY);// 设置列簇f1的压缩算法为SNAPPY htd.setColumnFamily(hcd.build())// 将列簇f1添加到t1表的descriptor. 对已存在的表设置或修改data block encoding和压缩算法 方法一:使用hbase shell。
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:OnOutOfMemoryError='kill -9 %p' 父主题: Spark应用开发常见问题