正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hdfs://cluster2/target/20 如果多个源位置有相同名称的文件,则distcp命令会失败。 在不使用update和overwrite选项的情况下,如果被拷贝文件在目标位置中已经存在,则该文件会跳过。 在使用update选项的情况下,如果被拷贝文件在目标位置中已经存在,但文件内容不同,则目标位置的文件内容会被更新。
当导入数据时,对于Key列相同的行会聚合成一行,而Value列会按照设置的AggregationType进行聚合。 AggregationType目前有以下四种聚合方式: SUM:求和,多行的Value进行累加。 REPLACE:替代,下一批数据中的Value会替换之前导入过的行中的Value。 MAX:保留最大值。
应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。
java,右键工程,选择“Run 'ColocationExample.main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 设置系统的环境变量说明
history命令记录功能,避免信息泄露。: sqoop import \ --connect jdbc:mysql://MySQL服务器地址:端口号/database1 \ --username admin \ --password xxx \ --table table1 \
使用查看MRS集群中所有作业。需要MRS集群已安装YARN。 使用创建的用户第一次登录Hue WebUI,需修改密码。 用户获取Hue WebUI的访问地址后,可以给其他无法访问Manager的用户用于访问Hue WebUI。 在Hue的WebUI操作但不操作Manager页面,重新访问Manager时需要输入已登录的账号密码。
hdfs://cluster2/target/20 如果多个源位置有相同名称的文件,则distcp命令会失败。 在不使用update和overwrite选项的情况下,如果被拷贝文件在目标位置中已经存在,则该文件会跳过。 在使用update选项的情况下,如果被拷贝文件在目标位置中已经存在,但文件内容不同,则目标位置的文件内容会被更新。
OPTIONS('TIMESTAMPFORMAT'='timestampFormat') SKIP_EMPTY_LINE:数据加载期间,此选项将忽略CSV文件中的空行。 OPTIONS('SKIP_EMPTY_LINE'='TRUE/FALSE') 可选:SCALE_FACTOR:针对
admin(a) 设置当前znode的权限 对系统的影响 修改ZooKeeper的ACL是高危操作。修改ZooKeeper中znode的权限,可能会导致其他用户无权限访问该znode,导致系统功能异常。另外在3.5.6及以后版本,用户对于getAcl操作需要有读权限。 前提条件 已安装Z
“/home/flinkuser/keytab/abc222.keytab”表示的是用户目录。 principal名。 security.kerberos.login.principal: abc222 对于HA模式,如果配置了ZooKeeper,还需要设置ZK kerberos认证相关的配置。配置如下:
set hoodie.write.lock.zookeeper.url=<zookeeper_url>; // 设置使用ZooKeeper地址 set hoodie.write.lock.zookeeper.port=<zookeeper_port>; // 设置使用ZooKeeper端口
java,右键工程,选择“Run 'ColocationExample.main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 设置系统的环境变量说明
admin(a) 设置当前znode的权限 对系统的影响 修改ZooKeeper的ACL是高危操作。修改ZooKeeper中znode的权限,可能会导致其他用户无权限访问该znode,导致系统功能异常。另外在3.5.6及以后版本,用户对于getAcl操作需要有读权限。 前提条件 已安装Z
resourceManager=10.64.35.161:8032(10.64.35.161为Yarn resourceManager(Active)节点业务平面IP;8032为yarn.resourcemanager.port) queueName=default examplesRoot=examples
resourceManager=10.64.35.161:8032(10.64.35.161为Yarn resourceManager(Active)节点业务平面IP;8032为yarn.resourcemanager.port) queueName=default examplesRoot=examples
Apply”后,单击“OK”,如图2所示。 图2 设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,使用IntelliJ IDEA开发工具时,可选择“File >
Apply”后,单击“OK”,如图2所示。 图2 设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,使用IntelliJ IDEA开发工具时,可选择“File >
使用导入器通过“.csv”,“.txt”等格式的文件导入数据。 使用创建的用户第一次登录Hue WebUI,需修改密码。 用户获取Hue WebUI的访问地址后,可以给其他无法访问Manager的用户用于访问Hue WebUI。 在Hue的WebUI操作但不操作Manager页面,重新访问Manager时需要输入已登录的账号密码。
showtables false 在设置为true时,会在执行show tables命令时过滤materialized views。在表多的情况下,开启该参数会导致show tables命令执行时间很长,请谨慎开启。 说明: MRS 3.2.0及之后版本支持才支持该功能。 carbon.enable
处理步骤 磁盘小文件过多。 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机地址和磁盘分区。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令df -i 分区名称,查看磁盘当前Inode使用率。 若Ino