检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t_range |cut -f 2命令,获得结束端口值,相减得到临时端口总数,若临时端口总数小于28232,说明操作系统随机端口范围太小,需要联系系统管理员扩大端口范围。 执行命令ss -ant 2>/dev/null | grep -v LISTEN | awk 'NR > 2
根据业务情况修改表的结构、删除或新增表,直到集群内该表在所有节点上元数据一致。等待5min,查看告警是否消除。 是,操作结束。 否,执行5。 若确认该表需要且已经被删除,手动清除告警,观察告警是否还会上报。 是,执行6。 否,操作结束。 收集故障信息 在FusionInsight Manager界面,选择“运维
host String) as 'carbondata' PROPERTIES ('table_blocksize'='128'); 对于不需要高精度的度量,无需使用numeric (20,0)数据类型,建议使用double数据类型来替换numeric (20,0)数据类型,以提高查询性能。
创建Hive表,默认false,如果目标表不存在,则会创建目标表 --hive-table 指定Hive表 --table 关系型数据库表名 --columns 指定需要导入的关系型数据表字段 --query 指定查询语句,将查询结果导入 hcatalog参数 --hcatalog-database 指定H
utPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前,需要把log1.txt和log2.txt这两个文件上传到HDFS的<inputPath>目录下。参考MapReduce统计样例程序开发思路。
行环境下(即Flink客户端),如“/opt/Flink_test”。运行Flink应用程序。 在Linux环境中运行Flink应用程序,需要先启动Flink集群。在Flink客户端下执行yarn session命令,启动Flink集群。执行命令例如: bin/yarn-session
xml”、“hbase-site.xml”、“hdfs-site.xml”,并将其放置到“src/main/resources/conf/active”目录下,该目录需要自己创建。 参考准备连接HBase集群配置文件章节,获取备集群客户端配置文件“core-site.xml”、“hbase-site.xml”、“hdfs-site
单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时,不能同时选择跨资源权限,如果需要设置多个资源的相关权限,请依次逐一设置。 Loader权限: “管理员”:Loader管理员权限。 “作业连接器”:Loader的连接权限。
Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
配置更新过程中,OMS会自动重启。 相近数量的节点规模对应的Manager相关配置是通用的,例如100节点变为101节点,并没有新的配置项需要刷新。 父主题: MRS集群告警处理参考
维度表:总量相对小,增量小,多以更新操作为主,数据读取会是全表读取,或者按照对应业务ID过滤。 基于以上考虑,维度表采用天分区会导致文件数过多,而且是全表读取,会导致所需要的文件读取Task过多,采用大颗粒度的日期分区,例如年分区,可以有效降低分区个数和文件数量;对于增量不是很大的维度表,也可以采用非分区表。
支持Kerberos认证的SSL加密访问。 获取参数“sasl-ssl.port”的值,默认为21009。 Topic的ACL设置 Topic的权限信息,需要在Linux客户端上,使用“kafka-acls.sh”脚本进行查看和设置,具体可参考Kafka用户权限说明。 针对不同的Topic访问场景,Kafka中API使用说明
单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时,不能同时选择跨资源权限,如果需要设置多个资源的相关权限,请依次逐一设置。 Loader权限: “管理员”:Loader管理员权限。 “作业连接器”:Loader的连接权限。
该问题容易出现在从其他节点直接复制客户端时,配置参数未修改。 需修改SPARK_LOCAL_HOSTNAME为本机IP。 注:如果集群使用EIP通信,则需要设置以下参数。 spark-default.conf中添加spark.driver.host = EIP(客户端节点弹性公网IP) spark-default
用的组件,在创建集群时的组件列表中不呈现。 MRS组件的版本号通常与组件开源版本号保持一致。 MRS集群内各组件不支持单独升级,请根据实际需要选择对应版本的集群。 LTS(Long Term Support)版本集群与普通版本集群区别可参考MRS集群版本说明。 表1 MRS组件版本信息
utPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前,需要把log1.txt和log2.txt这两个文件上传到HDFS的<inputPath>目录下。参考MapReduce统计样例程序开发思路。
xml”、“hbase-site.xml”、“hdfs-site.xml”,并将其放置到“src/main/resources/conf/active”目录下,该目录需要自己创建。 参考准备连接HBase集群配置文件章节,获取备集群客户端配置文件“core-site.xml”、“hbase-site.xml”、“hdfs-site
集群名称:自定义,例如“mrs_doris” 版本类型:LTS版 集群版本:MRS 3.3.0-LTS 组件选择:Doris集群。 Kerberos认证:开启 其他参数根据实际需要进行配置。 集群购买完成后安装集群客户端,详细操作请参考安装客户端(3.x版本)。 例如客户端安装路径为“/opt/dorisclient”。