检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
) + 1000(用户历史消费金额)。 上例所示,运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 使用HBase shell工具,创建HBase table1和table2,并分别插入数据。 通过HBase创建名为table1的表,命令如下。
可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 常用运行程序参数如表2。 - 执行程序参数 可选参数,程序执行的关键参数,该参数由用户程序内的函数指定,MRS只负责参数的传入。 多个参数间使用空格隔开,最多为150000字符,不能包含;|&><'$特殊字符,可为空。
*******************************************"); // 读取文本路径信息,并使用逗号分隔 final String[] filePaths = ParameterTool.fromArgs(args).get("filePath"
么,这个Region将无法被关闭,本次转移操作将无法完成(关于这个问题,在当前的HBase版本中的处理的确还欠缺妥当)。 因此,暂时不建议使用该方法关闭一个Region。 采用PutList模式写数据 Table类中提供了两种写数据的接口: public void put(final
ased Optimization,RBO)和基于代价的优化器(Cost-Based Optimization,CBO)。 RBO RBO使用的规则是根据经验形成的,只要按照这个规则去写SQL语句,无论数据表中的内容怎样、数据分布如何,都不会影响到执行计划。 CBO CBO是根据
MRS集群中默认安装了一个客户端用于作业提交,也可直接使用该客户端。MRS 3.x及之后版本客户端默认安装路径为Master节点上的“/opt/Bigdata/client”,MRS 3.x之前版本为Master节点上的“/opt/client”。 使用MRS集群客户端安装用户登录客户端所在的节点。
主集群部署为普通模式,则不需要配置互信。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 主备集群中,需要确保ClickHouse的“HADOOP_RPC_PROTECT
选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创建一个机机用户,例如developuser。 “用户组”需加入“hive”用户组。 使用Ranger管理员用户rangeradmin登录Ranger管理页面。 rangeradmin用户默认密码为“Rangeradmin@123”,详细内容请参见用户账号一览表。
ENGINE = Distributed(default_cluster, default, my_table_local, rand()); 使用说明 分布式表名称:default.my_table_dis。 本地表名称:default.my_table_local。 通过“AS”关
RS还没支持的第三方软件,修改集群运行环境等自定义操作。如果集群扩容,选择执行引导操作,则引导操作也会以相同方式在新增节点上执行。MRS会使用root用户执行用户指定的脚本,脚本内部可以通过su - xxx命令切换用户。 客户价值 MRS提供了自定义引导操作,用户可以灵活、便捷地配置自己的专属集群,自定义安装软件。
dmin”,进入Ranger WebUI界面。 在Ranger WebUI界面,单击右上角用户名,选择“Log Out”,退出当前用户。 使用rangeradmin用户或者其他具有Ranger管理员权限用户重新登录。rangeradmin用户默认密码请参考用户账号一览表获取。 在Ranger
组件业务用户 代码认证: 通过获取客户端的principal和keytab文件在应用程序中进行认证。 MapReduce的安全认证代码 目前使用统一调用LoginUtil类进行安全认证。 在MapReduce样例工程的“com.huawei.bigdata.mapreduce.ex
认40%)时,告警恢复。 过载磁盘定义:磁盘分区的IO使用率大于80%的磁盘认为是过载磁盘。 例如: 某TopicA的Partition分布在三个Broker上,其中两个Broker上Partition所在磁盘分区的IO使用率大于80%。 那么,在过载磁盘上的Partition占比等于2/3,大于40%,触发告警。
ALM-45644告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行5。 在TaskManager日志检查缓存命中率并收集日志 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > ALM-45649
值章节处理对应的告警。 ALM-45647告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行12。 收集故障信息 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > ALM-45650
值章节处理对应的告警。 ALM-45647告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行12。 收集故障信息 使用具有当前Flink作业的管理操作权限的用户登录Manager。 选择“运维 > 告警 > 告警 > ALM-45648 RocksDB持续
Manager首页,选择“运维 > 告警 > 告警”中查看是否存在告警“ALM-14002 DataNode磁盘空间使用率超过阈值”。 是,执行6。 否,执行8。 参考ALM-14002 DataNode磁盘空间使用率超过阈值进行处理,查看对应告警是否清除。 是,执行7。 否,执行8。 等待5分钟,检查该告警是否恢复。
********************************************"); // 读取文本路径信息,并使用逗号分隔 final String[] filePaths = ParameterTool.fromArgs(args).get("filePath"
为了提高通信速率,希望不同主机之间的通信能够尽量发生在同一个机架之内,而不是跨机架。 为了提高容错能力,分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。 Hadoop使用一种类似于文件目录结构的方式来表示主机。 由于HDFS不能自动判断集群中各个DataNode的网络拓扑情况,管理员需设置机架名称来确定主机
多主实例模式与非多主实例模式两种模式的JDBCServer接口相比,除连接方式不同外其他使用方法相同。由于Spark JDBCServer是Hive中的HiveServer2的另外一个实现,其使用方法,请参见Hive官网:https://cwiki.apache.org/confl