检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
XML”,值为“客户端安装目录/Oozie/oozie-client-*/examples/apps/hive/hive-site.xml”上传至HDFS目录中所在路径,例如“/user/admin/examples/apps/hive2/hive-site.xml”。HiveServer2 URL”及其他参数无需配置。
不涉及 取值范围: PASSWORD:密码登录,选择此项时,node_root_password不能为空。 KEYPAIR:密钥对登录,选择此项时,node_keypair_name不能为空。 默认取值: 不涉及 node_root_password 否 String 参数解释: 配置访问集群节点的root密码。
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
-i:21302(MRS1.7.X及以后端口号是16020)查看到pid,然后根据pid查看到相应的进程,发现RegionServer的端口被DFSZkFailoverController占用。 查看“/proc/sys/net/ipv4/ip_local_port_range”显示为“9000
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行,则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false”,则表示集群不支
orc_compress GZIP varchar Compression codec used. Possible values: [NONE, SNAPPY, LZ4, ZSTD, GZIP, ZLIB] hive orc_compress_size 262144 bigint orc compression
日志文件 ,具体hdfs路径为“/tmp/logs/{submit_user}/logs/{application_id}”。 提交作业后,在Yarn的WEB UI未找到对应作业的application_id,说明该作业没有提交成功,可登录集群主Master节点,查看提交作业进程
broker.protocol Broker间通信协议,支持以下四种协议类型: PLAINTEXT:支持无认证的明文访问,默认端口号为9092,可通过查看参数“port”的值获取。 SASL_PLAINTEXT:支持Kerberos认证的明文访问,默认端口号为21007,可通过查看“sasl
修改磁盘选择策略为“节点磁盘可用空间块放置策略(org.apache.hadoop.hdfs.server.blockmanagement.AvailableSpaceBlockPlacementPolicy)”,经过测试验证,在该测试结果中,修改前后,HDFS写文件性能影响范围在3%以内。
修改磁盘选择策略为“节点磁盘可用空间块放置策略(org.apache.hadoop.hdfs.server.blockmanagement.AvailableSpaceBlockPlacementPolicy)”,经过测试验证,在该测试结果中,修改前后,HDFS写文件性能影响范围在3%以内。
执行以下命令,查看iptables过滤列表中INPUT策略。 iptables -L 例如未配置任何规则时,INPUT策略显示如下: Chain INPUT (policy ACCEPT) target prot opt source destination
scheduler.maximum-allocation-vcores”可配置单个Container最多CPU可用核数,“yarn.scheduler.maximum-allocation-mb”可配置单个Container最大内存可用值。不支持实例级别的修改,需要在Yarn服务的配置中修改参数值,并重启Yarn服务。
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
勾选“我已经阅读上述信息,并了解具体影响。”并单击“确定”。 单击“组件管理”观察各个组件是否存在异常,若存在异常等待5~10分钟后再次观察组件,依然存在异常则联系华为云技术支持处理。 单击“告警管理”观察是否存在异常告警,若存在请清除告警后再进行其他操作。 父主题: MRS集群容量调整
明的范围内,这种数据strict mode对其不产生影响。 merge_type 数据的合并类型,支持APPEND、DELETE和MERGE三种类型,默认为APPEND。 APPEND表示这批数据需要全部追加到现有数据中。 DELETE表示删除与这批数据Key相同的所有行。 ME
d-check.sh文件。 vi hdfs-namenode-period-check.sh 在main方法中将“checkBlockplacementLog”注释掉,例如: main() { Log $INFO "start period check" checkHaState
单个节点内DataNode的各磁盘使用率不均匀。 例如: 189-39-235-71:~ # df -h Filesystem Size Used Avail Use% Mounted on /dev/xvda 360G 92G 250G 28% / /dev/xvdb 700G
根据告警“定位信息”中的任务名找到失败任务,查找并记录失败作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行4。 否,执行6。 单击失败作业application ID进入作业界面。 单击作业“Logs”
all/FusionInsight-Sqoop-1.99.3/FusionInsight-Sqoop-1.99.3/server/webapps/loader/WEB-INF/ext-lib”。 使用root用户在Loader服务主备节点分别执行以下命令修改权限: cd ${BI
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great