正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
后,才能实现以下场景的功能: 在用户订阅了通知服务之后,当集群出现扩容成功/失败、缩容成功/失败、删除成功/失败、弹性升缩成功/失败的场景下,由MRS管理面通过邮件或短信方式通知对应用户。 管理面检查大数据集群的告警信息,如果大数据集群的告警信息影响到服务的使用,其告警级别达到致命时,则发送信息通知给对应租户。
UDF操作权限。 使用具有Hive管理员权限的用户在Hive客户端创建全局的UDF算法: 创建CheckSum函数(在default数据库下执行): create function checksum_aggregate as 'com.huawei.hive.checksum.ChecksumUdaf'
yaml”文件中的“parallelism.default”配置选项来指定所有执行环境的默认并行度。 配置进程参数 Flink on YARN模式下,有JobManager和TaskManager两种进程。在任务调度和运行的过程中,JobManager和TaskManager承担了很大的责任。
Archives归档任务实际上是执行一个MR应用程序,所以在每次执行日志归档任务后,会新增一条MR执行记录。 本功能归档的日志来源于日志收集功能,因此只有在日志收集功能开启状态下本功能才会生效。 父主题: MapReduce
在Map阶段,有一个可选过程,将同一个key值的中间结果合并,叫做Combiner。一般将reduce类设置为Combiner即可。通过Combiner,一般情况下可以显著减少Map输出的中间结果,从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。 表2 Combiner设置接口
在Map阶段,有一个可选过程,将同一个key值的中间结果合并,叫做Combiner。一般将reduce类设置为Combiner即可。通过Combiner,一般情况下可以显著减少Map输出的中间结果,从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。 表2 Combiner设置接口
件夹可通过“目录过滤器”和“文件过滤器”参数设置符合规则的目录和文件进行迁移。 例如迁移匹配“/user/test*”文件夹下文件,该场景下“文件格式”固定为“二进制格式”。 图3 配置作业参数 请参见配置HDFS目的端参数配置目的端连接的作业参数。 单击“下一步”进入任务配置页面。
/src/main/resources/conf”目录下。 hbase-examples/hbase-example(多集群互信场景) 将互信场景下的同名用户其中一个集群的配置文件放入“../src/main/resources/hadoopDomain”目录下,将另一集群的配置文件放入“
要在beeline中显示如此数量级的数据。 如数量在一定范围内需要显示,请调整hive客户端的jvm参数, 在hive客户端目录/Hive下的component_env中添加export HIVE_OPTS=-Xmx1024M(具体数值请根据业务调整),并重新执行source 客
命令回显结果基于线程数排序,分析线程数最大的top5线程,结合业务分析是否异常使用。(其中“PID”列为对应进程ID) 是,在不影响业务的情况下,参考以下操作终止top5中异常使用进程的父进程。执行11。 执行以下命令查询对应进程的父进程。 ps -ef | grep "进程ID" 查询出的第三列即为父进程ID。
集群节点创建成功时间。仅“历史集群”会显示此参数。 删除时间 集群节点计费停止时间,也是集群节点开始删除时间。仅“历史集群”会显示此参数。 可用区 集群工作区域下的可用区,创建集群时设置。 企业项目 集群所属的企业项目。 表2 MRS集群运行状态说明 状态 说明 启动中 集群正在创建,则其状态为“启动中”。
显示HiveServer实例列表。 单击“HiveServer”行的“主机名”。 弹出HiveServer主机状态页面。 记录“概要信息”下的IP地址。 通过6.e获取的IP地址登录HiveServer所在的主机。 执行ping命令,查看HiveServer所在主机与ZooKee
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > HDFS > 配置 > 全部配置”,查找HDFS->DataNode下的GC_OPTS参数。 配置DataNode块数阈值:修改GC_OPTS参数中Xmx的值(Xmx内存值对应节点块数阈值为每GB对应50000
调整“-XX:NewSize”大小的时候,建议把其设置为“-Xmx”大小的1/8。 RegionServer需要的内存一般比HMaster要大。在内存充足的情况下,堆内存可以相对设置大一些。 根据机器的内存大小设置“-Xmx”大小:机器内存>200G,“-Xmx”设置为32G;128G<机器内存<20
如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。 父主题: 附录
Master的GC_OPTS参数。 RegionServer:RegionServer需要的内存一般比HMaster要大。在内存充足的情况下,HeapSize可以相对设置大一些。 说明: 主HMaster的HeapSize为4GB的时候,HBase集群可以支持100000 Reg
Master的GC_OPTS参数。 RegionServer:RegionServer需要的内存一般比HMaster要大。在内存充足的情况下,HeapSize可以相对设置大一些。 说明: 主HMaster的HeapSize为4G的时候,HBase集群可以支持100000 regi
ory)的异常,然后Driver端一直在进行GC,尝试回收垃圾来存放返回的数据,导致应用长时间挂起。 解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark
不等引起数据倾斜的情况。 cluster不支持和upsert并发。 如果clustering处于inflight状态,该FileGroup下的文件不支持Update操作。 父主题: 数据管理维护
的数据也将被永久删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。 关机计费策略 一般情况下,对于按需计费的MRS集群,对集群所有的弹性云服务器进行关机后,相关计费策略如下: MRS集群管理服务费仍旧正常计费,如需停止计费请删除相应集群。