检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/Bigdata/audit/storm/logviewer”(审计日志) 日志归档规则:Storm的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过10MB的时候会自动压缩,压缩后的日志文件名规则为:“<原有日志名>.log.[编号].gz”。默认最多保留最近的20个压缩
e"); principal = clientInfo.getProperty("principal"); 在安全模式下,需要Kerberos用户以及keytab文件路径等信息进行登录认证。 // 设置新建用户的userName,其中"xxx"指代之前
e"); principal = clientInfo.getProperty("principal"); 在安全模式下,需要Kerberos用户以及keytab文件路径等信息进行登录认证。 // 设置新建用户的userName,其中"xxx"指代之前
方法doSth()调用hadoop的接口访问文件系统,此时底层RPC会自动携带TGT去Kerberos认证,生成ST票据。 以上代码可在安全模式下的HDFS二次开发样例工程中创建KerberosTest.java,运行并查看调测结果,具体操作过程请参考HDFS开发指南(安全模式)。 父主题:
传入参数“colsValues”为原始数据中的一行数据集合,每个元素为一列。 传入参数“regulation”为配置导入文件信息(一般情况下并不需要使用)。 将该实现类与其依赖包同时打包成Jar文件,保存到HBase客户端所在节点的任意位置并确保执行命令的用户具有读取和执行该Jar包的权限。
Master的GC_OPTS参数。 RegionServer:RegionServer需要的内存一般比HMaster要大。在内存充足的情况下,HeapSize可以相对设置大一些。 说明: 主HMaster的HeapSize为4G的时候,HBase集群可以支持100000 regi
传入参数“colsValues”为原始数据中的一行数据集合,每个元素为一列。 传入参数“regulation”为配置导入文件信息(一般情况下并不需要使用)。 将该实现类与其依赖包同时打包成Jar文件,保存到HBase客户端所在节点的任意位置并确保执行命令的用户具有读取和执行该Jar包的权限。
format 必选 String 用于反序列化和序列化Kafka消息的值部分的格式 properties.* 可选 String 安全模式下需增加认证相关的参数 scan.topic-partition-discovery.interval 可选 Duration 消费者定时动态
Flink系统的管理节点,管理所有的TaskManager,并决策用户任务在哪些Taskmanager执行。JobManager在HA模式下可以有多个,但只有一个主JobManager。 Flink系统提供的关键能力: 低时延 提供ms级时延的处理能力。 Exactly Once
Flink系统的管理节点,管理所有的TaskManager,并决策用户任务在哪些Taskmanager执行。JobManager在HA模式下可以有多个,但只有一个主JobManager。 Flink系统提供的关键能力: 低时延 提供ms级时延的处理能力。 Exactly Once
在FusionInsight Manager界面,选择“系统 > 权限 > 角色 > 添加角色”: 设置“角色名称”。 在“配置资源权限”下选择“待操作集群名称 >Hue”,勾选“存储策略管理员”,单击“确定”,为该角色赋予存储策略管理员的权限。 选择“系统 > 权限 > 用户组
每次都全量备份 每n次进行一次全量备份 说明: 备份组件元数据时不支持增量备份,仅支持“每次都全量备份”。 在“备份配置”,勾选“元数据和其它数据”区域下的“IoTDB”。 在“IoTDB”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “LocalDir”:表示将备份文件保
有关。如果能关闭防火墙,建议尝试关闭防火墙;如果不能关闭防火墙,请检查防火墙配置策略,确保UDP 123、323端口未禁用(具体遵循各系统下防火墙配置策略)。 处理防火墙后等待10分钟,检查该告警是否恢复。 是,处理完毕。 否,执行10。 使用root用户登录主OMS节点,执行下
如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。 通过配置SSH隧道访问MRS集群Manager
如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。 通过配置SSH隧道访问MRS集群Manager
Cluster_1_Flume_ClientConfig/Flume/FusionInsight-Flume-1.9.0.tar.gz路径下进行Flume客户端安装。 Flume客户端Cgroup使用指导 加入Cgroup 执行以下命令,加入Cgroup,假设Flume客户端安装
配置MRS集群监控指标数据转储(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,单击“监控指标转储配置”。 表3介绍转储参数。 表3 转储参数 参数名称 参数说明 是否必选 监控指标转储开关 指定是否打开监控指标数据对接功能。
间的较小值。 数据加载性能调优 数据加载性能调优与查询性能调优差异很大。跟查询性能一样,数据加载性能也取决于可达到的并行性。在数据加载情况下,工作线程的数量决定并行的单元。因此,更多的执行器就意味着更多的执行器核数,每个执行器都可以提高数据加载性能。 同时,为了得到更好的性能,可在HDFS中配置如下参数。
IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见《IAM产品介绍》。 MRS权限说明 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。
间的较小值。 数据加载性能调优 数据加载性能调优与查询性能调优差异很大。跟查询性能一样,数据加载性能也取决于可达到的并行性。在数据加载情况下,工作线程的数量决定并行的单元。因此,更多的执行器就意味着更多的执行器核数,每个执行器都可以提高数据加载性能。 同时,为了得到更好的性能,可在HDFS中配置如下参数。