检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用MRS客户端 安装客户端(3.x及之后版本) 安装客户端(3.x之前版本) 更新客户端(3.x及之后版本) 更新客户端(3.x之前版本) 父主题: 常见操作
创建FlinkServer作业前准备 访问FlinkServer WebUI界面 创建FlinkServer应用 创建FlinkServer集群连接 创建FlinkServer数据连接 创建FlinkServer流表源 父主题: 使用Flink
Hudi写操作 批量写入Hudi表 流式写入Hudi表 将Hudi表数据同步到Hive 父主题: 使用Hudi
数据写入 写入更新数据时报错 Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间 Hudi写入小精度Decimal数据失败
同步Hive表配置 参数 描述 默认值 hoodie.datasource.hive_sync.enable 是否同步hudi表信息到hive metastore。 注意: 建议该值设置为true,统一使用hive管理hudi表。 false hoodie.datasource.hive_sync
index相关配置 参数 描述 默认值 hoodie.index.class 用户自定义索引的全路径名,索引类必须为HoodieIndex的子类,当指定该配置时,其会优先于hoodie.index.type配置。 "" hoodie.index.type 使用的索引类型,默认为布隆过滤器。可能的选项是[BLOOM
存储配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS,这需要与基础文件系统块大小保持一致,以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block
Hue常见问题 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 Hue WebUI中Oozie编辑器的时区设置问题 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue(MRS
Kafka常见问题 Kafka业务规格说明 Kafka相关特性说明 基于binlog的MySQL数据同步到MRS集群中 如何解决Kafka topic无法删除的问题 父主题: 使用Kafka
Ranger常见问题 安装集群过程中Ranger启动失败 如何判断某个服务是否使用了Ranger鉴权 新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户
Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark2x(MRS 3.x及之后版本)
HetuEngine样例程序(Python3) 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 父主题: 开发HetuEngine应用
调测Hive应用 在Windows中调测JDBC样例程序 在Linux中调测JDBC样例程序 调测HCatalog样例程序 调测Hive SpringBoot样例程序 调测Hive Python样例程序 调测Hive Python3样例程序 父主题: Hive开发指南(普通模式)
Hive对外接口介绍 Hive JDBC接口介绍 Hive WebHCat接口介绍 父主题: Hive应用开发常见问题
准备Kafka应用开发环境 准备本地应用开发环境 准备连接Kafka集群配置文件 导入并配置Kafka样例工程 父主题: Kafka开发指南(普通模式)
准备MapReduce应用开发环境 准备MapReduce开发和运行环境 导入并配置MapReduce样例工程 (可选)创建MapReduce样例工程 父主题: MapReduce开发指南(普通模式)
开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题: MapReduce开发指南(普通模式)
调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题: MapReduce开发指南(普通模式)
MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题: MapReduce应用开发常见问题
开发Oozie应用 开发Oozie配置文件 Oozie样例代码说明 通过Java API提交Oozie作业 使用Oozie调度Spark访问HBase以及Hive 父主题: Oozie开发指南(普通模式)