检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表2 配置文件 文件名称 作用 core-site.xml 配置Flink详细参数。 hdfs-site.xml 配置HDFS详细参数。 yarn-site.xml 配置Yarn详细参数。 flink-conf.yaml Flink客户端配置文件。 检查客户端节点网络连接。
表3 配置文件 文件名称 作用 hdfs-site.xml 配置HDFS详细参数。 hetuserver-client.properties 配置HetuEngine客户端连接参数。
表2 配置文件 文件名称 作用 carbon.properties CarbonData配置文件。 core-site.xml 配置HDFS详细参数。 hdfs-site.xml 配置HDFS详细参数。 hbase-site.xml 配置HBase详细参数。
表4 配置文件 文件名称 作用 hdfs-site.xml 配置HDFS详细参数。 hetuserver-client.properties 配置HetuEngine客户端连接参数。
费用账单 您可以在管理控制台选择页面上方的“费用 > 费用账单”,进入费用中心后,在“账单管理”查看与MRS集群相关的流水和明细账单,以便了解您的消费情况。如需了解具体操作步骤,请参见费用账单。 欠费 在使用MRS时,包年/包月集群,没有欠费的概念。
场景说明 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求,开发的Spark应用程序实现如下功能: 实时累加计算每个单词的记录总数。 “log1.txt”示例文件: LiuYang YuanJing GuoYijun CaiXuyu Liyuan FangBo
表5 配置文件 文件名称 作用 hivemetastore-site.xml 配置Hive详细参数。 hiveclient.properties 配置Hive详细参数。 user.keytab 对于Kerberos安全认证提供用户信息。
ZooKeeper开源增强特性 日志增强 安全模式下,Ephemeral node(临时节点)在session过期之后就会被系统删除,在审计日志中添加Ephemeral node被删除的审计日志,以便了解当时Ephemeral node的状态信息。 所有ZooKeeper客户端的操作都要在审计日志中添加
可通过查询主机接口获取resource_id。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 result String 参数解释: 更新映射请求操作结果。
拓扑提交成功后请登录HDFS集群查看。
可登录FusionInsight Manager,选择“集群 > 服务 > Oozie > 实例”,即可获取任一oozie实例的IP地址;单击“配置”,在搜索框中搜索“OOZIE_HTTPS_PORT”,即可查看使用的端口号。
如果是已经添加到任务里面,但是依旧没有取到,可能是因为配置文件的driver或者executor的classpath配置不正确,可以查看日志确认是否加载到环境。
在当前目录下执行以下命令将jar包打包: zip -qDj spark-archive-2x-x86.zip x86/* zip -qDj spark-archive-2x-arm.zip arm/* 执行以下命令查看hdfs上的spark2x依赖的jar包: hdfs dfs -
待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。
在当前目录下执行以下命令将jar包打包: zip -qDj spark-archive-2x-x86.zip x86/* zip -qDj spark-archive-2x-arm.zip arm/* 执行以下命令查看hdfs上的spark2x依赖的jar包: hdfs dfs -
如果是已经添加到任务里面,但是依旧没有取到,可能是因为配置文件的driver或者executor的classpath配置不正确,可以查看日志确认是否加载到环境。
若要自动清除旧日志,请查看spark.executor.logs.rolling.maxRetainedFiles。 daily WebUI WebUI展示了Spark应用运行的过程和状态。
表1 模块说明 名称 说明 Source Source负责接收数据或通过特殊机制产生数据,并将数据批量放到一个或多个Channel。Source的类型有数据驱动和轮询两种。 典型的Source类型如下: 和系统集成的Sources:Syslog、Netcat。
升级HDFS上组件的zip包 登录集群主节点并执行以下命令: su - omm cd /opt/Bigdata/patches/{MRS补丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号}目录名称的操作
拓扑提交成功后请自行登录HBase集群查看。