检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager 解决反复扩缩容导致MRS Master节点executor内存溢出问题 MRS大数据组件 MRS Presto新增Presto支持OBSFileSystem MRS Presto解决频繁打印jstack,以及日志文件太大不滚动问题 补丁兼容关系 MRS 2.0.1.3补丁包中包含MRS
准备本地应用开发环境 Hive组件可以使用JDBC/HCatalog/Python/Python3接口进行应用开发。 准备JDBC/HCatalog开发环境 表1 JDBC/HCatalog开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。
RegisterServerHandler registerServerHandler, int numberOfSubscribedJobs) name:为本NettySink的名称。 topic:为本NettySink产生数据的Topic,每个不同的NettySink(并发度
resultValue = hbase1Value.toInt + hbase2Value.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)
M的默认值为4。 n倍:参数“metrics.reporter.alarm.job.alarm.rocksdb.background.jobs.multiplier”的值,默认值2。 告警属性 告警ID 告警级别 是否可自动清除 45645 次要 是 告警参数 参数名称 参数含义
M的默认值为4。 n倍:参数“metrics.reporter.alarm.job.alarm.rocksdb.background.jobs.multiplier”的值,默认值2。 告警属性 告警ID 告警级别 是否可自动清除 45646 次要 是 告警参数 参数名称 参数含义
connection = ConnectionFactory.createConnection(hbConf); // 获取table对象 table = connection.getTable(TableName.valueOf(tableName));
parseInt(hbase1Value) + Integer.parseInt(hbase2Value); // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)
如何解除网络ACL的关联子网 操作场景 用户可根据自身网络需求,解除网络ACL与子网的关联关系。 操作步骤 登录管理控制台。 在服务列表中单击“网络 > 虚拟私有云”。 在左侧导航栏单击“访问控制 > 网络ACL”。 在右侧在“网络ACL”列表区域,选择网络ACL的名称列,单击您需要修改的网络ACL名称进入详情页面。
准备本地应用开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下:
创建或者编辑Loader作业时,在配置SFTP路径、HDFS/OBS路径、SQL的Where条件等参数时,可以使用宏定义,具体请参考Loader算子配置项中使用宏定义章节。 表2 输入配置参数一览表 源文件类型 参数名 解释说明 HDFS/OBS 输入目录 从HDFS/OBS导出时的输入路径。 路径过滤器 配
RegisterServerHandler registerServerHandler, int numberOfSubscribedJobs) name:为本NettySink的名称。 topic:为本NettySink产生数据的Topic,每个不同的NettySink(并发度
在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题: MRS集群告警处理参考
查看Spark应用程序运行情况。 Spark主要有两个Web页面。 Spark UI页面,用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。
查看Spark应用程序运行情况。 Spark主要有两个Web页面。 Spark UI页面,用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、Stages、Storage、Environment、Executors和SQL等部分。Streaming应用会多一个Streaming标签页。
IAM用户已同步完成,可通过在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 作业相关程序和输入文件已存放在OBS中。 该示例以新增MapReduce作业为例。 操作步骤 接口相关信息 URI格式:POST /v2/{project_id}/clust
解决Spark作业读上游读库表,excutor报错找不到该表OBS .schema目录下的文件的问题。 Hudi compaction schedule优化,根据最后一次compaction action生成plan。 Hudi默认保留5G归档后的压缩文件。 Hudi OBS默认Clean不进回收站。 Hudi
足的现象。 规避措施: 根据业务需要,配置合适的需要保留的Job和Stage的UI数据个数,即配置“spark.ui.retainedJobs”和“spark.ui.retainedStages”参数。详细信息请参考常用参数中的表13。 如果需要保留的Job和Stage的UI数据个数较多,可通过配置“spark
Manager页面的区别和联系请参考下表: 常用操作 MRS Console FusionInsight Manager 切换子网、添加安全组规则、OBS权限控制、管理委托、IAM用户同步 支持 不支持 新增节点组、扩容、缩容、升级规格 支持 不支持 隔离主机、启动所有角色、停止所有角色 支持
ID = root_20160716174218_90f55869-000a-40b4-a908-533f63866fed Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks is set to 0 since