检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink on Hudi作业参数规则 Flink作业参数配置规范 Flink作业参数配置规范如下表所示。 表1 Flink作业参数配置规范 参数名称 是否必填 参数描述 建议值 -c 必填 指定主类名。 根据实际情况而定 -ynm 必填 Flink Yarn作业名称。 根据实际情况而定
Flink SQL逻辑开发规则 维表lookup join场景维度表个数不超过五个 Hudi维度表都在TM heap中,当维表过多时heap中保存的维表数据过多,TM会不断GC,导致作业性能下降。 【示例】lookup join维表数5个: CREATE TABLE table1(id
如何重置或修改Manager(admin)密码? 已知旧密码修改admin密码请参考修改admin密码 忘记旧密码重置admin密码请参考修改组件运行用户密码 父主题: 账号密码类
创建MRS集群时计价器为什么未显示价格? 问题 创建MRS集群时计价器为什么未显示价格? 回答 只选择磁盘个数,没有选择集群虚拟机实例个数时,产品报价是不会产生收费的;需要客户选择实例个数,产品报价会在浏览器下方即时显示出来。 父主题: 计费FAQ
Hadoop压力测试工具如何获取? 问: Hadoop压力测试工具如何获取? 答: Hadoop压力测试工具社区获取地址:https://github.com/Intel-bigdata/HiBench。 父主题: 性能优化类
否,执行8。 Ldap服务异常。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看是否存在“ALM-25000 LdapServer服务不可用”的告警。 是,执行9。 否,执行11。 参考“ALM-25000 LdapServer服务不可用”告警的处理步骤进行处理。
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 进程状态异常会导致该进程无法提供正常服务,进而可能导致服务整体异常。 可能原因 主机中
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 正在运行的调度任务会阻塞,无法提交新的调度任务。 可能原因 HDFS服务重启、故障或网
如何设置Spark作业执行时自动获取更多资源? 答 对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务(比如JDBCServer),如果分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。
Spark读写Hudi资源配置建议 Spark读写Hudi任务资源配置规则,内存和CPU核心的比例2:1,堆外内存和CPU核心比例0.5:1;即一个核心,需要2G堆内存,0.5G堆外内存 Spark初始化入库场景,由于处理的数据量比较大,上述资源配比需要调整,内存和Core的比例
登录MRS集群Manager的用户是什么? 问: MRS集群创建成功后,登录集群Manager界面的用户是什么? 答: 登录Manager的系统默认账号为admin,密码为购买集群时用户自己设置的密码。 父主题: 用户认证及权限类
删除弹性伸缩策略 功能介绍 删除弹性伸缩策略。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
创建MRS集群时计价器为什么未显示价格? 问: 创建MRS集群时计价器为什么未显示出价格? 答: 只选择磁盘个数,没有选择集群虚拟机实例个数时,产品报价是不会产生收费的。 客户选择了实例个数,产品报价才会在浏览器下方即时显示出来。 父主题: 计费类
MRS是否支持升级集群内组件的内核版本? 问: MRS是否支持升级集群内组件的内核版本? 答: MRS不支持单独升级集群内组件的内核版本,如需体验新版本MRS集群所支持组件的特性内容,建议删除当前集群之后重新创建集群。 MRS组件版本信息请参见MRS组件版本一览表。 父主题: 升级补丁类
删除HBase数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testDelete方法中。
写HDFS文件 功能简介 写文件过程为: 实例化一个FileSystem。 由此FileSystem实例获取写文件的各类资源。 将待写内容写入到HDFS的指定文件中。 在写完文件后,需关闭所申请资源。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei.bigdata
读HDFS文件 功能简介 获取HDFS上某个指定文件的内容。 在完成后,需关闭所申请资源。 代码样例 如下是读文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。 /** * 读文件 * *
Manager页面,手动清除该告警。 是,操作结束。 否,执行7。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kafka”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 正在运行的调度任务会阻塞,无法提交新的调度任务。在HA模式下,Oozie服务会重启。 可能原因
MRS是否支持通过Hive的HBase外表将数据写入到HBase? 问: MRS是否支持通过Hive的HBase外表将数据写入到HBase? 答: 不支持。 Hive on HBase只支持查询,不支持更改数据。 父主题: 应用开发类