检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理FlinkServer作业 配置FlinkServer重启策略 配置FlinkServer作业中使用UDF 父主题: 使用Flink
选中该证书拖动到电脑桌面,即可获得证书。 在Mac应用中选择钥匙串访问。 “钥匙串”选择“登录”,“种类”选择“证书”。 将步骤3获得的证书拖动到钥匙串列表中。 双击证书将该证书设置为“始终信任”并关闭弹窗。
常见操作 修改集群服务配置参数 访问集群Manager 使用MRS客户端
集群创建类 如何使用自定义安全组创建MRS集群? 购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理? 购买MRS集群时,找不到ZooKeeper组件如何处理? 购买MRS集群提交订单时报无效认证如何处理?
Flink运维管理 Flink常用配置参数 Flink日志介绍 父主题: 使用Flink
MRS权限管理 IAM权限管理 通过IAM,您可以在华为云账号中给员工创建IAM用户,并授权控制其对华为云资源的访问范围。
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题,或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。
Tez常见问题 TezUI无法展示Tez任务执行细节 进入Tez WebUI界面显示异常 TezUI界面无法查看Yarn日志 TezUI HiveQueries界面表格数据为空 父主题: 使用Tez
Hudi常见问题 数据写入 数据采集 Hive同步 父主题: 使用Hudi
MRS支持华为自研鲲鹏服务器,充分利用鲲鹏多核高并发能力,提供芯片级的全栈自主优化能力,使用华为自研的操作系统EulerOS、华为JDK及数据加速层,充分释放硬件算力,为大数据计算提供高算力输出。在性能相当情况下,端到端的大数据解决方案成本下降30%。
Hudi常见配置参数 写入操作配置 同步Hive表配置 index相关配置 存储配置 compaction&cleaning配置 单表并发控制配置 父主题: 使用Hudi
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题: 数据迁移
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。
$OMS_RUN_PATH/workspace/ha/module/harm/plugin/script/tomcat stop $OMS_RUN_PATH/workspace/ha/module/harm/plugin/script/tomcat start 在主OMS节点查看进程
配置华为镜像站中SDK的Maven镜像仓库,请参见配置华为开源镜像仓。 根据用户自身需求,构建完整的Maven工程并进行编译开发。
compaction&cleaning配置 参数 描述 默认值 hoodie.clean.automatic 是否执行自动clean。 true hoodie.cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件的查询和计算都将失败
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 数据管理维护 Hudi常见配置参数 Hudi性能调优 Hudi常见问题
使用DBService DBService日志介绍
使用ZooKeeper 使用ZooKeeper客户端 配置ZooKeeper ZNode ACL ZooKeeper常用配置参数 ZooKeeper日志介绍 ZooKeeper常见问题
Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期,应用失败 为什么Spark Streaming