检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改MRS集群组件鉴权配置开关 操作场景 集群部署为安全模式或者普通模式时,HDFS和ZooKeeper默认会对访问服务的用户进行鉴权,没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时,Yarn默认不会对访问用户进行鉴权,所有用户可以访问Yarn中的资源。 管
main()”运行应用工程。 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce
HA名称。 Peer Manager HA Name 对端Manager HA名称。 对系统的影响 如果主Manager进程异常,主备倒换无法进行,影响业务。 可能原因 主备Manager节点间链路异常。 处理步骤 检查主备Manager服务器间的网络是否正常。 打开MRS集群详
Text, Text, IntWritable> { /** * map的输入,key为原文件位置偏移量,value为原文件的一行字符数据。 * 其map的输入key,value为文件分割方法InputFormat提供,用户不设置,默认 * 使用TextInputFormat。
keystore”和“flink.truststore”文件,并且在客户端配置文件“flink-conf.yaml”中将以下配置项进行了默认赋值: 将配置项“security.ssl.keystore”设置为“flink.keystore”文件所在绝对路径。 将配置项“security.ssl
/Delete调小批次请求数据量,Scan调小Caching值);如果业务侧业务暂时无法优化,可以在应用侧的“客户端安装目录/HBase/hbase/conf/hbase-site.xml”文件中新增或修改以下参数(仅减少告警日志打印,不会缓解过载)。 表2 减少告警日志打印 参数名称
态恢复失败。 如果用户在作业中删除或添加或更改无状态算子的顺序有什么影响? 如果用户已经给有状态的算子分配ID,那么无状态的算子并不会影响从savepoint进行状态恢复。 如果用户没有分配IDs,有状态算子的IDs由于顺序变化可能会被分配新的IDs,这将导致状态恢复失败。 如果
udu/config”路径下的所有配置文件至客户端节点,放置到与准备放置编译出的jar包同目录的“conf”目录下,用于后续调测,例如“/opt/client/conf”。 准备开发用户时获取的keytab文件也放置于该目录下,主要配置文件说明如表2所示。 例如客户端软件包为“F
main()”运行应用工程。 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Ranger服务不可用时,Ranger无法正常工作,Ranger原生UI无法访问。 可能原因 Ranger服务所依赖内部服务DBService故障。 RangerAdmin角色实例异常。 处理步骤 检查DBService进程状态。
request) AM通过此接口通知RM其运行成功或者失败。 registerApplicationMaster(RegisterApplicationMasterRequest request) AM通过此接口向RM进行注册。 ContainerManagementProtocol
安装集群过程中Ranger启动失败 如何判断某个服务是否使用了Ranger鉴权 新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户 MRS用户无法同步至Ranger管理界面
use.multiple.temp.dir 所属配置文件 carbon.properties 适用于 数据加载 场景描述 是否使用多个临时目录存储sort临时文件。 如何调优 设置为true,则数据加载时使用多个临时目录存储sort临时文件。此配置能提高数据加载性能并避免磁盘单点故障。
file_num 指定目录的文件数量 storage_size 该目录的Size(bytes) storage_size(unit) 该目录的Size(KB) storage_path 指定目录的完整FS绝对路径 space_consumed 返回文件/目录在集群中占用的实际空间,即它考虑了为集群设置的复制因子
ClickHouse日志启动了自动压缩归档功能,缺省情况下,当日志大小超过100MB的时(此日志文件大小可进行配置),会自动压缩。 压缩后的日志文件名规则为:“<原有日志名>.[编号].gz”。 默认最多保留最近的10个压缩文件,压缩文件保留个数可以在Manager界面中配置。 父主题: ClickHouse数据库运维
作业执行组ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 jar_path String 参数解释: 执行程序jar包或sql文件地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 input String 参数解释: 数据输入地址。 约束限制: 不涉及
s/distcp/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 执行以下命令,编辑“job.properties”文件。 vi job.properties
集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。 HDFS客户端配置文件路径:客户端安装目录/HDFS/hadoop/etc/hadoop/hdfs-site.xml。 Yarn客户端配置文件路径:客户端安装目录/HDFS/hadoop/etc/hadoop/yarn-site
集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。 HDFS客户端配置文件路径:客户端安装目录/HDFS/hadoop/etc/hadoop/hdfs-site.xml。 Yarn客户端配置文件路径:客户端安装目录/HDFS/hadoop/etc/hadoop/yarn-site
为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache table使用指导 Repartition时有部分Partition没数据 16T的文本数据转成4T Parquet数据失败 当表名为table时,执行相关操作时出现异常