检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-50224 BE上执行的各类任务中是否存在某种类型的任务失败次数有增长趋势 告警解释 系统每30秒周期性检查BE上执行的各类任务中是否存在某种类型的任务失败次数有增长趋势，当检查到该值不等于1（1表示没有增长趋势，0表示有增长趋势）时产生该告警。 当系统检测到BE上执行的各类任务中不存在某
如何设置Spark作业执行时自动获取更多资源？ 问 如何设置Spark作业执行时自动获取更多资源？ 答 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分
新增作业并执行（废弃） 功能介绍 在MRS集群中新增一个作业，并执行作业。该接口不兼容Sahara。 集群ID可参考查询集群列表接口获取。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 DistCp作业需要配置文件操作类型(file_action)。
解决方案 登录Manager。 MRS 3.x之前版本，执行7。 MRS 3.x及之后版本，选择“集群 > 服务 > Hive”，在服务“概览”页面右上角单击“更多”，查看“启用Ranger鉴权”是否置灰。 是，执行2。 否，执行7。 选择“集群 > 服务 > Ranger”，单击“
开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？ 问题 开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？ 回答 在Carbon适配防误删后，调用文件删除命令，会将删除的文件放入回收站中。 在insert、load等命令中会有中间文件
Spark应用执行过程中，日志中一直打印getApplicationReport异常且应用较长时间不退出 问题 Spark应用执行过程中，当driver连接RM失败时，会报下面的错误，且较长时间不退出。 16/04/23 15:31:44 INFO RetryInvocationHandler:
java:5916) 问题根因： 执行balance需要使用管理员账户 解决方法 安全版本 使用hdfs或者其他属于supergroup组的用户认证后，执行balance 普通版本 执行HDFS的balance命令前，需要在客户端执行su - hdfs命令。 问题2：执行balance失败，/system/balancer
memory. ... 原因分析 Hive在执行join操作，数据量小时会生成MapJoin，执行MapJoin时会生成localtask任务，localtask启动的jvm内存继承了父进程的内存。 当有多个join执行的时候，启动多个localtask，如果机器内存不够，就会导致启动localtask失败。
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表： create 'bulktable','cf1' 开发思路 创建RDD。
删除作业执行对象（废弃） 功能介绍 删除指定的作业执行对象。该接口兼容Sahara。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI DELETE /v1.1/{p
用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表： create
inpath命令有如下权限要求，请对照下述要求是否满足： 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。 当前用户需要对该文件的目录有执行权限。 由于load操作会将该文件移动到表对应的目录中，所以要求当前用户需要对表的对应目录有写权限。 要求文件的格式与表指定
取消SQL执行任务 功能介绍 在MRS集群中取消一条SQL的执行任务。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id}/cancel 表1
使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。
登录Spark客户端节点，执行如下命令： source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env kinit Hudi开发用户 编译构建样例代码后可以使用spark-submit提交命令，执行命令后会依次执行写入、更新、查询、删除等操作：
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表： create 'bulktable','cf1' 开发思路 创建RDD。
protection layer” 问题背景与现象 shell客户端或者其他客户端操作HDFS失败，报“No common protection layer between client and server”。 在集群外的机器，执行任意hadoop命令，如hadoop fs -ls
使用Spark执行Hudi样例程序（Python） 下面代码片段仅为演示，具体代码参见：HudiPythonExample.py。 插入数据： #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen
使用Spark执行Hudi样例程序（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。 创建客户端对象来操作Hudi： String tablePath = args[0];
使用Spark执行Hudi样例程序（Scala） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据： def insertData(spark: SparkSession
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
