检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备MRS应用开发用户 操作场景 开发用户用于运行样例工程。进行不同服务的组件开发时,需要赋予不同的用户权限。 操作步骤 登录FusionInsight Manager。 在FusionInsight Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的
Tez日志介绍 日志描述 日志路径:Tez相关日志的默认存储路径为“/var/log/Bigdata/tez/角色名”。 TezUI:“/var/log/Bigdata/tez/tezui”(运行日志),“/var/log/Bigdata/audit/tez/tezui”(审计日志)。
CDL日志介绍 日志描述 日志路径:CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。 CDLService:“/var/log/Bigdata/cdl/service”(运行日志),“/var/log/Bigdata/audit/cdl/service”(审计日志)。
Hudi Schema演进 Schema演进介绍 配置SparkSQL支持Hudi Schema演进 Hudi Schema演进及语法说明 Hudi Schema演进并发说明 父主题: 使用Hudi
创建CDL作业 创建CDL数据同步任务作业 创建CDL数据比较任务作业 使用CDL从PgSQL同步数据到Kafka 使用CDL从PgSQL同步数据到Hudi 使用CDL从Opengauss同步数据到Hudi 使用CDL从Hudi同步数据到DWS 使用CDL从Hudi同步数据到ClickHouse
JobGateway日志介绍 日志描述 日志路径:JobGateway相关日志的存储路径为:“/var/log/Bigdata/job-gateway/”。 日志归档规则:JobGateway的运行日志启动了自动压缩归档功能,当日志大小超过20MB的时候(此日志文件大小可进行配置
JobGateway常见参数 参数入口 请参考修改集群服务配置参数进入JobGateway服务配置页面。 参数说明 表1 JobGateway参数说明 参数 参数说明 默认值 HTTP_INSTANCE_PORT JobServer服务http端口。 默认值:29973 取值范围:29970~29979
Guardian日志介绍 日志描述 日志路径:Guardian相关日志的存储路径为:“/var/log/Bigdata/guardian/token-server”。 日志归档规则:Guardian的运行日志启动了自动压缩归档功能,当日志大小超过50MB的时候(此日志文件大小可进
Hive on HBase 配置跨集群互信下Hive on HBase 删除Hive on HBase表中的单行记录 父主题: 使用Hive
Flink故障排除 使用不同用户执行yarn-session创建Flink集群失败 使用Flink过程中,具有两个相同权限用户testuser和bdpuser。使用用户testuser创建Flink集群正常,但是切换至bdpuser用户创建Fllink集群时,执行yarn-session
CDL故障排除 停止CDL任务时报“403”错误 CDL任务运行一段时间后发生“104”或“143”报错 从ogg同步数据到Hudi时,ogg Source配置的Task值与任务实际运行的Task数量不一致 CDL同步任务名对应的Topic分区过多 执行CDL同步数据到Hudi任务报错当前用户无权限创建表
HetuEngine日志介绍 日志描述 日志存储路径: HetuEngine的日志保存路径为“/var/log/Bigdata/hetuengine/”和“/var/log/Bigdata/audit/hetuengine/”。 日志归档规则: 日志归档规则采用FixedWind
Hue日志介绍 日志描述 日志路径:Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”(运行日志),“/var/log/Bigdata/audit/hue”(审计日志)。 日志归档规则:Hue的日志启动了自动压缩归档功能,默认情况下,当“access.log”、“error
使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优
使用Presto 访问Presto的WebUI 使用Presto客户端执行查询语句 Presto常见问题
使用Ranger MRS集群服务启用Ranger鉴权 登录Ranger WebUI界面 添加Ranger权限策略 Ranger权限策略配置示例 查看Ranger审计信息 配置Ranger安全区信息 查看Ranger用户权限同步信息 Ranger性能调优 Ranger日志介绍 Ranger常见问题
使用Iceberg 从零开始使用Iceberg Iceberg常用参数 Iceberg常用SQL语法
使用ZooKeeper 使用ZooKeeper客户端 配置ZooKeeper ZNode ACL ZooKeeper常用配置参数 ZooKeeper日志介绍 ZooKeeper常见问题
使用DBService 配置DBService HA模块的SSL 还原DBService HA模块的SSL配置 配置DBService备份任务超时时间 DBService日志介绍
使用IoTDB IoTDB支持的数据类型和编码 IoTDB用户权限管理 IoTDB客户端使用实践 快速使用IoTDB 创建IoTDB用户自定义函数(UDF) IoTDB性能调优 IoTDB运维管理