检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager页面,选择“集群 > 服务 > Spark > 配置”。 搜索“自定义”,在所有的“hive-site.xml”参数文件中新增名称为“hive.metastore-ext.balance.connection.enable”,值为“true”的自定义参数,单击“保存”,保存配置。
表3 日志格式 日志类型 格式 示例 运行日志 [<yyyy-MM-dd HH:mm:ss>] <Log Level>: [<产生该日志的脚本名称:行号>]: <log中的message> [2020-12-19 15:56:42] INFO [postinstall.sh:653]
r_id),所以需要先在管理控制台上获取到集群ID。集群ID获取步骤如下: 登录MRS管理控制台。 选择“现有集群”,单击待操作集群的集群名称,进入集群详情页面。 选择“概览”页签,在基本信息区域获取“集群ID”。 图1 集群ID 获取作业ID 在调用作业相关接口的时候,部分UR
WebUI”后的链接,进入HSConsole界面。 选择“数据源”,单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”,填写数据源名称,选择数据源类型“JDBC > IoTDB”。 配置“IoTDB配置”,参数配置请参考表1。 表1 IoTDB配置 参数 描述 取值样例 驱动
如果不存在overlap,执行3。 如果存在overlap,执行1。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > HBase > 更多 > 执行HMaster倒换”,完成HMaster主备倒换。 执行hbase hbck -j ${CL
xml spark.proxyserver.hash.enabled=true 配置描述 登录Manager,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索并修改以下参数。 表1 参数说明 参数 说明 默认值 spark.thriftserver
集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 表2 Query参数 参数 是否必选 参数类型 描述 path 是 String
以下命令,查看当前节点是否占用了Hue的浮动IP。 ifconfig | grep -B2 <浮动ip> 是,执行ifconfig <网卡名称> down解绑网卡,然后执行6。 否,请联系技术支持。 重复4~5,直到4能够通过浮动IP连接到Hue主实例并成功访问Hue WebUI。
Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示: 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填
表3 日志格式 日志类型 格式 示例 运行日志 [<yyyy-MM-dd HH:mm:ss>] <Log Level>: [<产生该日志的脚本名称:行号>]: <log中的message> [2020-12-19 15:56:42] INFO [postinstall.sh:653]
中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
${BIGDATA_DATA_HOME}/namenode-nfs 在NameNode备节点上执行2~4。 主备NameNode节点在NFS服务器上创建的共享目录名称(如“/opt/Hadoop/NameNode”)不能相同。 登录FusionInsight Manager系统,选择“集群 > 服务 >
${BIGDATA_DATA_HOME}/namenode-nfs 在NameNode备节点上执行2~4。 主备NameNode节点在NFS服务器上创建的共享目录名称(如“/opt/Hadoop/NameNode”)不能相同。 登录FusionInsight Manager系统,选择“集群 > 服务 >
mode(Overwrite). save(basePath); "obs://testhudi/cow_table/"是OBS路径,testhudi是并行文件系统名称,请根据实际情况修改。 使用datasource查看表建立成功,数据正常。 val roViewDF = spark. read. format("org
ThriftServer:“/var/log/Bigdata/hbase/ts2”(运行日志,ts2为具体实例名称),“/var/log/Bigdata/audit/hbase/ts2”(审计日志,ts2为具体实例名称)。 日志归档规则:HBase的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过
丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号}目录名称的操作,均以实际安装的补丁号为准。 例如: cd /opt/Bigdata/patches/MRS 3.2.0-LTS.1.9/client/
丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号}目录名称的操作,均以实际安装的补丁号为准。 例如: cd /opt/Bigdata/patches/MRS_3.2.0-LTS.1.8/client/
丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号}目录名称的操作,均以实际安装的补丁号为准。 例如: cd /opt/Bigdata/patches/MRS_3.3.1-LTS.1.2/client/
retainedApplications”参数的值。 请登录FusionInsight Manager管理界面,单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,在左侧的导航列表中,单击“JobHistory2x > 界面”,配置如下参数。
retainedApplications”参数的值。 请登录FusionInsight Manager管理界面,单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,在左侧的导航列表中,单击“JobHistory2x > 界面”,配置如下参数。