检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是,执行14。 否,执行17。 执行su - omm切换为omm用户,根据集群版本编辑对应文件,并适当增大“nodeagent.Xms”初始堆内存参数值和“nodeagent.Xmx”最大堆内存参数值大小,保存修改。 参数所在文件路径如下: MRS 3.2.1之前版本:/opt/Bigdata
允许例外条件 > 允许条件。 系统判断流程可参考下图所示,如果组件资源请求未匹配到Ranger中的权限策略,系统默认将拒绝访问。但是对于HDFS和Yarn,系统会将决策下放给组件自身的访问控制层继续进行判断。 例如要将一个文件夹FileA的读写权限授权给用户组groupA,但是该用户组
resultDataBuffer(i) if (!resultData.isEmpty) { // 根据列簇和列,获取旧值 val aCid = Bytes.toString(resultData.getValue(columnFamily
String, Integer> female) throws Exception { //取出姓名和停留时间两列,用于后面按名字求逗留时间的总和 Tuple2<String, Integer> femaleAndTime
int hiveValue = table1List.get(i).getInt(1); // 根据列簇和列,获取hbase值 String hbaseValue = Bytes.toString(resultData.getValue(columnFamily
String, Integer> female) throws Exception { //取出姓名和停留时间两列,用于后面按名字求逗留时间的总和 Tuple2<String, Integer> femaleAndTime
弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”,在“Project Encoding”和“Global Encoding”区域,设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图1所示。 图1 设置IntelliJ
x调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create
用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库,具体可参考配置华为开源镜像仓。 编包并运行程序 获取样例代码。 下载样例工程的Maven工程源码和配置文件,请参见获取MRS应用开发样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site
上例所示,运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 使用Spark-Beeline工具创建Spark和HBase表table1、table2,并通过HBase插入数据。 确保JDBCServer已启动。登录Spark2x客户端节点。 使用Sp
cd /opt/client source bigdata_env kinit 组件操作用户(例如developuser) 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create
String, Integer> female) throws Exception { //取出姓名和停留时间两列,用于后面按名字求逗留时间的总和 Tuple2<String, Integer> femaleAndTime
打印审计日志,会消耗一定操作系统性能,经过分析仅影响不到1%。 打印审计日志,会占用一定磁盘空间。该日志打印量不大,MB级别,且默认配置有老化机制和检测磁盘剩余空间机制,不会占满磁盘。 定位方法 在DataNode进程可能发生重启的所有节点,分别执行以下操作。 以root用户登录节点,执行service
联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限,数据库中的表也将自动添加或删除查询权限。此机制为Hive实现,SparkSQL与Hive保持一致。
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“OmmServer”,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Hive”。 单击右上角的设置日志收集的“开始时间”和“结束时间”,分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的有问题的HBase服务。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 node_group_name
hoodie.index.hbase.table 仅在索引类型为HBASE时适用,必填选项。HBase表名称,用作索引。Hudi将row_key和[partition_path, fileID, commitTime]映射存储在表中。 无 父主题: Hudi常见配置参数