检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为RocksDB的监测和告警会损失RocksDB的5%~10%性能。 为了避免对其他作业的影响,RocksDB监测的相关配置通过自定义参数生效,本章节为您介绍开启RocksDB监测和告警和相关调优参数。 开启Flink作业RocksDB监测步骤 使用具有FlinkServer管理
Ranger策略中的URL策略是hive表存储在obs上的场景涉及,URL填写对象在obs上的完整路径。与URL联合使用的Read,Write 权限,其他场景不涉及URL策略。 Ranger策略中global策略仅用于和Temprorary UDF Admin权限联合使用,控制UDF包的上传。 Ra
将HDFS的参数dfs.namenode.fs-limits.max-directory-items调大并且重启HDFS NameNode生效。 如果该目录下拥有100万文件不正常,需要清理不需要的文件。 父主题: 使用HDFS
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程:
置配置项的大小,指定brokerId和用户名,这里的用户指kerberos认证用户。 使用命令行工具更新的配置可以动态生效,重启服务会失效。如果想在重启后继续生效,请在FusionInsight Manager首页,选择“集群 > 待操作的集群名称 > 服务 > Kafka > 配置
info("Exiting testModifyTable."); } 注意事项 注[1] modifyTable只有表被disable时,才能生效。 父主题: HBase数据读写示例程序
info("Exiting testModifyTable."); } 注意事项 注[1] modifyTable只有表被disable时,才能生效。 父主题: HBase数据读写样例程序
//日志级别,如果需要更详细的日志定位问题,需要修改为DEBUG,修改完需要重启进程才能生效 hbase.log.maxbackupindex=20 //最多保存的日志文件数目 # Security
info("Exiting testModifyTable."); } 注意事项 注[1] modifyTable只有表被disable时,才能生效。 父主题: HBase数据读写样例程序
线重启,请选择合适的方法,重启过程不能省略。 补丁安装后操作不能省略,若没有执行此操作,会影响Spark、HDFS、Flink等组件的补丁生效,会导致Spark client模式的作业运行失败。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS 3.1
选择“全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 Ranger的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd
线重启,请选择合适的方法。重启过程不能省略。 补丁安装后操作不能省略,若没有执行此操作,会影响Spark、HDFS、Flink等组件的补丁生效,会导致Spark client模式的作业运行失败。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS 3.2
线重启,请选择合适的方法。重启过程不能省略。 补丁安装后操作不能省略,若没有执行此操作,会影响Spark、HDFS、Flink等组件的补丁生效,会导致Spark client模式的作业运行失败。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS 3.2
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 HBase表重建 重启目的集群的HBase服务,使数据迁移生效。在启动过程中,HBase会加载当前HDFS上的数据并重新生成元数据。启动完成后,在Master节点客户端执行如下命令加载HBase表数据。
置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后即生效,不需要重启服务。 日志格式 Flume的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd
单击“全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,然后单击“确定”,成功后配置生效。 配置完成后即生效,不需要重启服务。 日志格式 ClickHouse的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 ClickHouse运行日志
面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 ZooKeeper的日志格式如下所示: 表3 日志格式 日志类型 组件 格式 示例 运行日志 zookeeper
are/lib”路径下各组件有没有报错的类的Jar包,如果没有,添加Jar包并执行HDFS上更新了oozie的share lib目录但没有生效。如果执行了更新“share lib”目录依然报找不到类,那么可以查看执行更新“share lib”的命令打印出来的路径“sharelibDirNew”是否是“
"test01"), (2,"test02"); 参考添加Spark2x的Ranger访问权限策略,给sparktest表配置脱敏策略,验证脱敏是否生效: select * from sparktest; 验证脱敏策略传递: create table sparktest02 as select
的值。 ProxyHTMLEnable On SetEnv PROXY_PREFIX=https://[proxy_ip]:[proxy_port] ProxyHTMLURLMap (https?:\/\/[^:]*:[0-9]*.*) ${PROXY_PREFIX}/proxyRedirect=$1