正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
为什么CDL任务执行后Hudi中没有接收到数据 MySQL链路任务启动时如何从指定位置抓取数据 为什么在Ranger中删除用户权限后,该用户仍能够操作自己创建的任务 父主题: 使用CDL
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 缩容成功 错误码 请参见错误码。 父主题: 集群管理接口
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 删除弹性伸缩策略成功 错误码 请参见错误码。 父主题:
HDFS企业级能力增强 配置DataNode节点容量不一致时的副本放置策略 配置DataNode预留磁盘百分比 配置从NameNode支持读操作 配置NameNode黑名单功能 配置Hadoop数据传输加密 父主题: 使用HDFS
Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 父主题: 使用Spark/Spark2x
使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明 父主题: HBase企业级能力增强
使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明 配置BulkloadTool工具支持解析自定义分隔符 父主题: HBase企业级能力增强
log”,可以看到gaussdb异常。 图1 gaussdb异常 检查发现“/tmp”权限不对。 图2 /tmp权限 解决办法 修改/tmp的权限。 chmod 1777 /tmp 等待实例状态恢复。 父主题: 使用DBservice
WebUI访问HDFS文件失败 在Hue页面上传大文件失败 集群未安装Hive服务时Hue原生页面无法正常显示 Hue WebUI中Oozie编辑器的时区设置问题 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue(MRS 3.x及之后版本)
开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase
Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark/Spark2x
HDFS企业级能力增强 配置HDFS快速关闭文件功能 配置DataNode节点容量不一致时的副本放置策略 配置DataNode预留磁盘百分比 配置从NameNode支持读操作 配置NameNode黑名单功能 配置Hadoop数据传输加密 父主题: 使用HDFS
性能优化类 Hadoop压力测试工具如何获取? 如何提高集群Core节点的资源使用率? 如何配置knox内存? 如何调整manager-executor进程内存? 如何设置Spark作业执行时自动获取更多资源? spark.yarn.executor.memoryOverhead设置不生效如何处理?
Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Saprk Driver执行结果 父主题: 使用Spark2x(MRS
客户端使用类 如何关闭ZooKeeper的SASL认证? 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理? ClickHouse客户端执行SQL查询时报内存不足如何处理? MRS如何连接spark-shell? MRS如何连接spark-beeline?
count(*) from table_name;前确认需要查询的数据量大小,确认是否需要在beeline中显示如此数量级的数据。 如数量在一定范围内需要显示,请调整hive客户端的jvm参数, 在hive客户端目录/Hive下的component_env中添加export HIVE_O
Flink流式读Hudi表建议 设置合理的消费参数避免File Not Found问题 当下游消费Hudi过慢,上游写入端会把Hudi文件归档,导致File Not Found问题。优化建议如下: 调大read.tasks。 如果有限流则调大限流参数。 调大上游compaction、archive、clean参数。
参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集
FusionInsight Manager界面操作: 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。 在使用的用户所在行的单击“修改”。 为用户添加kafkaadmin组。单击“确定”完成修改操作。 通过命令id查询用户组信息。 [root@10-10-144-2