检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
addIndexColumn(new HColumnDescriptor("info"), "name", ValueType.String); iSpecUnite.addIndexColumn(new HColumnDescriptor("info"), "age", ValueType
addIndexColumn(new HColumnDescriptor("info"), "name", ValueType.String); iSpecUnite.addIndexColumn(new HColumnDescriptor("info"), "age", ValueType
关资源所有租户的使用情况。 图1 FE实例租户资源监控 图2 BE实例租户资源监控 Doris多租户告警 Doris多租户告警主要涉及以下两个: 并发数(告警ID为“50227”):如果租户在某个FE节点的并发数超过了限制的阈值(默认阈值为90%),就会产生告警。 内存(告警ID
结果数据存储路径和格式已经由Spark应用程序指定,可通过指定文件获取。 登录Spark WebUI查看应用程序运行情况。 Spark主要有两个Web页面。 Spark UI页面,用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、Stages、Storage、Enviro
请参考修改集群服务配置参数,进入ZooKeeper“全部配置”页面。在搜索框中输入参数名称。 表1 参数说明 配置参数 说明 默认值 skipACL 是否跳过ZooKeeper节点的权限检查。 no maxClientCnxns ZooKeeper的最大连接数,在连接数多的情况下,建议增加。
huawei.bigdata.flink.examples.SqlJoinWithSocket 每秒钟往Kafka中生产一条用户信息,用户信息有姓名、年龄、性别组成。 //producer代码 object WriteIntoKafka { def main(args: Array[String]):
connect to kdc server的问题 要检查“krb5.conf”文件内容是否正确,即是否与集群中的KerberoServer的业务IP配置相同。 检查Kerberos服务是否正常。 检查防火墙是否关闭。 解决客户端应用提交任务到hadoop集群报错,提示Failed to
principal文件,以及多个Manager系统各自的客户端配置文件,可实现一次认证登录后访问调用多集群的HBase服务。 以下代码在hbase-example样例工程的“com.huawei.bigdata.hbase.examples”包的“TestMultipleLogin”类中。
直接重启期间,不可新提交任务,正在运行Spark、Flink任务有重试机制不受影响。 直接重启耗时约5分钟。 滚动重启 依赖NodeManager的remote shuffle Spark任务受影响,Flink任务有概率失败,Hive任务有概率失败。 滚动重启10节点耗时约25分钟。 Spark/Spark2x
KeytabFile /opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab Principal cdluser Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理
PRINCIPAL, hbaseKeytab); LoginUtil.setZookeeperServerPrincipal(ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL); LoginUtil.login(PRINCIPAL, KEYTAB
比较的时候。 不允许用字符类型存放数值类型的数据,尤其是需要对该数值字段进行运算或者比较的时候。字符串的过滤效率相对于整型或者特定时间类型有下降。 建议 不建议表中存储过多的Nullable列,可以考虑字符串使用“NA”,数值型用0作为缺省值。过多使用Nullable将消耗更多内存。
在任务运行过程中,重启YARN,本地日志不被删除。 在任务完成,日志归集失败后定时清除日志前,重启YARN,本地日志不被删除。 回答 NodeManager有重启恢复机制,详情请参见: https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop
append(clientInfo.getAuth()) .append(";principal=") .append(clientInfo.getPrincipal()) .append(";"); } else { //
return (integer + integer2); } }); //筛选出停留时间大于两个小时的女性网民信息 JavaPairRDD<String, Integer> rightFemales = females.filter(new
EditLog不连续导致NameNode启动失败 问题 在JournalNode节点有断电,数据目录磁盘占满,网络异常时,会导致JournalNode上的EditLog不连续。此时如果重启NameNode,很可能会失败。 现象 重启NameNode会失败。在NameNode运行日志中会报如下的错误:
KeytabFile /opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab Principal cdluser Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理
KeytabFile /opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab Principal cdluser Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理
单击“安全组”右侧的安全组名称进入安全组控制台,在入方向规则页签中添加一个“协议端口”为TCP 3306,“源地址”为Hive的MetaStore实例所在的所有节点IP的规则。 Ranger仅支持对接RDS服务MySQL数据库,版本号为:MySQL 5.7.x、MySQL 8.0。
在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。 在“连接管理”页签,单击“新建连接”。 参考CDM服务的新建连接页面,分别添加到迁移源端集群和迁移目的端集群的两个HDFS连接。 连接类型根据实际集群来选择,如果是MRS集群,连接器类型可以选择“MRS HDFS”,如果是自建集群可以选择“Apache