检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
so,也使用了libssl.so。而一旦LD_LIBRARY_PATH添加了hadoop的native库目录,则使用的就是hadoop native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明(1) 参数 描述 默认值 spark.sql
x版本集群,NameNode节点存在ALM-12027主机PID使用率超过阈值告警,节点Java进程可能出现“unable to create new native thread”报错。 原因分析 使用以下命令统计节点进程的线程数并排序。 ps -efT | awk '{print $2}' |sort
概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 选择“HBase > 服务配置”,将“基础配置”切换为“全部配置”,进入HBase配置界面修改参数配置。 表1 HBase参数说明 参数 参数说明 参数值 hbase.regionserver.hfile.durable
so,也使用了libssl.so。而一旦LD_LIBRARY_PATH添加了hadoop的native库目录,则使用的就是hadoop native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。
so,也使用了libssl.so。而一旦LD_LIBRARY_PATH添加了hadoop的native库目录,则使用的就是hadoop native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。
keytab 开启双向传输 跨域数据传输是否开启双向传输,默认为“是”。 是:双向传输,请求通过本端的HSFabric将转发至远端的HSFabric,如果开启双向传输,需要配置本端HSFabric地址。 否,单向传输,请求直接发至远端的HSFabric。 是 本端地址信息 本端MRS
面。 选择“数据源”,单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”,填写数据源名称,选择数据源类型“HBase”。 配置“HBase配置”,参数配置请参考表1。 表1 HBase配置 参数 描述 取值样例 驱动 默认为“hbase-connector”。 hbase-connector
在“网络信息”区域的“默认生效子网”右侧单击“切换子网”。 获取“默认生效子网”和待切换子网对应的IPv4网段。 此时请勿单击切换子网的“确定”按钮,否则默认生效子网将更新为切换后的子网,切换前的子网不易查询,请谨慎操作。 参考5~8添加“默认生效子网”和待切换子网的IPv4网段地址到切换前后子网绑定的网络ACL入方向规则中。
填写对端系统的域名。 ip_port 填写对端系统的KDC地址。 参数值格式为:对端系统内要配置互信集群的Kerberos服务部署的节点IP地址:端口。 如果是双平面组网,需填写业务平面IP地址。 采用IPv6地址时,IP地址应写在中括号“[]”中。 部署主备Kerberos服务或者对端系统内有多
/opt/knox/bin/restart-knox.sh 重启完成后在浏览器地址栏中,输入并访问FusionInsight Manager的网络地址,验证能否正常打开页面。 企业证书有效时间已过期或安全性加强,MRS更换为新的证书后,请同步更换本地证书。 登录FusionInsight Manager,选择“集群
止运行。 YARN支持在新的ApplicationAttempt启动时,保留之前Container的状态,因此运行中的作业可以继续无故障的运行。 图1 AM作业保留 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 根据表1,对如下参数进行设置。
涉及HBase或Hive导入导出时,必须填写。 转换算子 数据转换的中间转换步骤,属于可选类型,各个转换算子可任意搭配使用。转换算子是针对字段而言,必须先使用输入算子,将数据转换成字段。 输出算子 数据转换的最后一步,每次转换有且只能有一种输出算子,用于输出处理后的字段。涉及H
Storm WebUI页面中events超链接地址无效 用户问题 Storm组件的Storm UI页面中events超链接地址无效。 问题现象 用户提交拓扑后无法查看拓扑数据处理日志,按钮events地址无效。 原因分析 MRS集群提交拓扑时默认不开启拓扑数据处理日志查看功能。 处理步骤
输出步骤的列分隔符,当不指定时,默认等于fields-terminated-by的值。 output-lines-terminated-by 输出步骤的行分隔符,当不指定时,默认等于lines-terminated-by的值。 trans 指定转换步骤,值为转换步骤文件所在的路径。当指定文件的相对路径时,
否,执行38。 chrony不能正常同步,通常与系统防火墙有关。如果能关闭防火墙,建议尝试关闭防火墙;如果不能关闭防火墙,请检查防火墙配置策略,确保UDP 123、323端口未禁用(具体遵循各系统下防火墙配置策略)。 处理防火墙后等待10分钟,检查该告警是否恢复。 是,处理完毕。
默认情况下,系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中,可以配置参数见表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。
删除。 若“数据连接”页面没有关联连接,单击“配置数据连接”进行增加。 一种模块类型只能配置一个数据连接,如在Hive元数据上配置了数据连接后,不能再配置其他的数据连接。当没有可用的模块类型时,“配置数据连接”按钮不可用。 表2 配置Hive数据连接 参数 说明 组件名称 Hive
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后,可在Sqoop客户端导入关系型数据库的表到OBS中,或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
输出步骤的列分隔符,当不指定时,默认等于fields-terminated-by的值。 output-lines-terminated-by 输出步骤的行分隔符,当不指定时,默认等于lines-terminated-by的值。 trans 指定转换步骤,值为转换步骤文件所在的路径。当指定文件的相对路径时,