检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark从Hive读取数据再写入HBase样例程序(Scala) Spark从Hive读取数据再写入HBase样例程序(Python) 父主题: 开发Spark应用
重装Yarn服务后手动恢复MRS租户数据 删除MRS租户 Superior调度器模式下管理MRS全局用户策略 Capacity调度器模式下清除租户非关联队列 父主题: 管理MRS集群租户
MRS目前暂没有com.huawei.gaussc10依赖包,且此为gaussDB依赖包可以不配置。 建议用户在构建maven工程时不包含此包即可。 父主题: 应用开发类
答: 不同参数间用空格隔开,可通过在参数名前添加@的方式防止参数信息被明文存储,例如: @password=XXXXXX进行使用。 父主题: 作业管理类
配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 父主题: 使用Spark2x(MRS 3.x及之后版本)
多次运行Spark应用程序会引发致命的JRE错误,这个错误由Linux内核导致。 升级内核版本到4.13.9-2.ge7d7106-default来解决这个问题。 父主题: Spark故障排除
运行应用程序时,操作失败,日志显示如图1所示。 图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题: Manager应用开发常见问题
使用自定义安全组创建MRS集群有以下两种方式: 用户购买集群时,选择使用自己创建的安全组时,需要放开9022端口。 用户购买集群时,安全组选择“自动创建”。 父主题: 集群创建类
在已有表的基础上指定: alter "t_task_log",NAME=>'data',TTL=>'86400' #设置TTL值,作用于列族data 父主题: 组件配置类
oozie admin -oozie https://xxx.xxx.xxx.xxx:21003/oozie -sharelibupdate 父主题: Oozie常见问题
修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码 父主题: MRS集群安全配置
/opt/FlumeClient/fusioninsight-flume-Flume组件版本号/inst ./uninstall.sh 父主题: Flume运维管理
state-store.max-completed-applications”设置为一个较大的数值,则需要减小该属性参数的值以限制存储的总数据大小。 64 父主题: Yarn常见问题
workflowAppUri=${nameNode}/user/oozie_cli/${dataLoadRoot}/apps/dataLoad 父主题: Oozie样例代码说明
sql(cmdsb.toString()); timeStart = timeEnd; } }, TIMEWINDOW, TIMEWINDOW); } 父主题: Spark同步HBase数据到CarbonData样例程序
result: print k + "," + str(v) # 停止SparkContext spark.stop() 父主题: Spark Core样例程序
sql(cmdsb.toString()); timeStart = timeEnd; } }, TIMEWINDOW, TIMEWINDOW); } 父主题: Spark同步HBase数据到CarbonData样例程序
fSystem = FileSystem.get(URI.create("obs://[BuketName]"),conf); } 父主题: 开发HDFS应用
AS TEXTFILE; 指定被导入数据格式为TEXTFILE。 方法2: 被导入数据存储格式不能为TEXTFILE,而应为RCFile。 父主题: 使用Hive
replication MR任务在运行时依赖的相关job文件在HDFS上的备份。当备份数大于10时,可以降低客户端应用的失败率。 10 父主题: MapReduce性能调优