检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑,目前样例代码中仅WordCountTopology支持远程提交,其他拓扑想实现远程提交,请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Strom样例工程应用。
HDFS执行Balance时被异常停止如何处理 问题 在HDFS客户端启动一个Balance进程,该进程被异常停止后,再次执行Balance操作,操作会失败。 回答 通常,HDFS执行Balance操作结束后,会自动释放“/system/balancer.id”文件,可再次正常执行Balance。
修改参数值后,需重启YARN服务使其生效。 说明: 在修改值为“false”并生效后,生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志,建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation.roll-m
u-limit 表示该节点上YARN可使用的物理CPU百分比。默认是90,即不进行CPU控制,YARN可以使用节点全部CPU。该参数只支持查看,可通过调整YARN的RES_CPUSET_PERCENTAGE参数来修改本参数值。注意,目前推荐将该值设为可供YARN集群使用的CPU百分数。
批量删除集群标签 功能介绍 为指定集群批量删除标签。 一个集群上最多有20个标签。 此接口为幂等接口: 删除时,如果删除的标签不存在,默认处理成功,删除时不对标签字符集范围做校验。Key长度为128个字符,value为255个字符。删除时tags结构体不能缺失,key不能为空,或者空字符串。
IAM同步 功能介绍 将IAM用户和用户组同步到manager,指定用户的情况下,会将该用户关联的IAM用户组也同步到manager。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/iam-sync-user
schedule-tool工具使用示例 操作场景 通过Loader WebUI或客户端工具Loader-tool创建好作业后,可使用schedule-tool工具执行作业。 本章节适用于MRS 3.x及后续版本。 前提条件 完成了Loader客户端的安装与配置,具体操作请参见使用命令行运行Loader作业。
schedule-tool工具使用示例 操作场景 通过Loader WebUI或客户端工具Loader-tool创建好作业后,可使用schedule-tool工具执行作业。 前提条件 完成了Loader客户端的安装与配置,具体操作请参见使用客户端运行Loader作业。 操作步骤
Spark2x如何访问外部集群组件 问题 存在两个集群:cluster1 和cluster2,如何使用cluster1中的Spark2x访问cluster2中的HDFS、Hive、HBase和Kafka组件。 回答 可以有条件的实现两个集群间组件互相访问,但是存在以下限制: 仅允许访问一个Hive
Spark2x如何访问外部集群组件 问题 存在两个集群:cluster1和cluster2,如何使用cluster1中的Spark2x访问cluster2中的HDFS、Hive、HBase和Kafka组件。 回答 可以有条件的实现两个集群间组件互相访问,但是存在以下限制: 仅允许访问一个Hive
使用Spark执行Hudi样例程序(Java) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieWriteClientExample 创建客户端对象来操作Hudi: String tablePath = args[0];
使用Spark执行Hudi样例程序(Java) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。 创建客户端对象来操作Hudi: String tablePath = args[0];
使用Spark执行Hudi样例程序(Java) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieWriteClientExample 创建客户端对象来操作Hudi: String tablePath = args[0];
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时,上传失败。 回答 不建议使用Hue文件浏览器上传大文件,大文件建议使用客户端通过命令上传。 如果必须使用Hue上传,参考以下步骤修改Httpd的参数: 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时,上传失败。 回答 不建议使用Hue文件浏览器上传大文件,大文件建议使用客户端通过命令上传。 如果必须使用Hue上传,参考以下步骤修改Httpd的参数: 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。
批量添加集群标签 功能介绍 为指定集群批量添加标签。 一个集群上最多有20个标签。 此接口为幂等接口: 创建时,同一个集群不允许重复key,如果数据库存在就覆盖。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/cluste
集群添加组件 功能介绍 集群添加组件,仅MRS 3.1.2及之后普通版本和MRS 3.1.2-LTS.2及之后的LTS版本的自定义集群支持添加组件功能。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/components
Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)公告 漏洞描述 近日,华为云关注到Apache Log4j2存在一处远程代码执行漏洞(CVE-2021-44228),在引入Apache Log4j2处理日志时,会对用户输入的内容进行一些特殊的处理,攻击
使用Spark执行Hudi样例程序(Java) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。 创建客户端对象来操作Hudi: String tablePath = args[0];
通过Sqoop迁移数据库数据时报错 用户问题 MRS Sqoop迁移数据库数据报错如下: Communications link failure; The driver has not received any packets from the server; 源端为DWS数据库时报错如下: