检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
u-limit 表示该节点上YARN可使用的物理CPU百分比。默认是90,即不进行CPU控制,YARN可以使用节点全部CPU。该参数只支持查看,可通过调整YARN的RES_CPUSET_PERCENTAGE参数来修改本参数值。注意,目前推荐将该值设为可供YARN集群使用的CPU百分数。
修改参数值后,需重启Yarn服务使其生效。 说明: 在修改值为“false”并生效后,生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志,建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation.roll-m
单击“下一步”,在“选择授权范围”中勾选“全局服务资源”,单击“确定”。 创建完成后,将鼠标放在新建的委托上,记录下委托ID,如下图所示。 图1 查看委托ID 创建云服务委托并绑定集群 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 >
cli方式运行metastore session临时文件 否 任务运行失败 /tmp/logs/ 固定目录 存放container日志文件 是 container日志不可查看 /tmp/carbon/ 固定目录 数据导入过程中,如果存在异常CarbonData数据,则将异常数据放在此目录下 是 错误数据丢失 /
指定JDBCServer节点的URL。 “CLIENT_HOME”是指客户端路径。 多租户模式与非多租户模式两种模式的JDBCServer接口相比,除连接方式不同外其他使用方法相同。由于Spark JDBCServer是Hive中的HiveServer2的另外一个实现,其使用方法
程序命令中设置安全认证参数。 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。安全登录流程请参见安全认证接口章节。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参
程序命令中设置安全认证参数。 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。安全登录流程请参见安全认证接口章节。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参
显示类似如下信息,表示Maxwell启动成功。 Success to start Maxwell [78092]. 验证Maxwell 登录Maxwell所在的服务器。 查看日志。如果日志里面没有ERROR日志,且有打印如下日志,表示与MySQL连接正常。 BinlogConnectorLifecycleListener
keyBy尽量不要使用String。 设置并行度 并行度控制任务的数量,影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使用情况和内存占用情况,当任务和数据不是平均分布在各节点,而是集中在个别节点时,可以增大并行度使任务和数据更均匀的分布在各个节点。增
显示类似如下信息,表示Maxwell启动成功。 Success to start Maxwell [78092]. 验证Maxwell 登录Maxwell所在的服务器。 查看日志。如果日志里面没有ERROR日志,且有打印如下日志,表示与MySQL连接正常。 BinlogConnectorLifecycleListener
求灵活调整。 登录FusionInsight Manager。 选择“集群 > 服务 > Hive > 更多 > 启用Ranger鉴权”,查看该参数是否置灰。 是,创建用户并在Ranger中赋予该用户相关操作权限: 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创
WebUI,然后选择“Utilities > Browse the file system” 观察HDFS上“/flume/test”目录下是否有产生数据。 图8 查看HDFS目录和文件 父主题: 配置Flume加密传输数据采集任务
建议您在调试阶段设置为“继续”,无论此脚本是否执行成功,则集群都能继续扩缩容操作。 若脚本执行失败,请到集群虚拟机的“/var/log/Bootstrap”路径下查看失败日志。 由于缩容成功不可回滚,缩容后执行的脚本失败操作只能选择“继续”。 自动化脚本只在弹性伸缩时触发,手动调整集群节点时不会运行。 父主题:
id=hoodie-delta-streamer offset.rang.limit=10000 指定HoodieDeltaStreamer执行参数(具体参数配置,请查看官网https://hudi.apache.org/ )执行如下命令: spark-submit --master yarn --jars
WebUI,然后选择“Utilities > Browse the file system” 观察HDFS上“/flume/test”目录下是否有产生数据。 图7 查看HDFS目录和文件 父主题: 配置Flume加密传输数据采集任务
调度器类型可登录Manager,在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler.class”参数进行查询。 表3 子租户参数一览(Superior调度器) 参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。(部分
8为主Master节点的IP地址。 执行service ntpd start或systemctl restart ntpd命令启动NTP服务。 执行ntpstat命令查看时间同步结果。 获取客户端软件包。 参考访问FusionInsight Manager(MRS 3.x及之后版本)访问Manager,单击“集群”在“概览”选择“更多
是否解析为Flume event。 migrateZookeeperOffsets true 当Kafka没有存储offset时,是否从ZooKeeper中查找,并提交到Kafka。 kafka.consumer.auto.offset.reset latest 当没有offset记录时,从指定的位置消费数据。
是否解析为Flume event。 migrateZookeeperOffsets true 当Kafka没有存储offset时,是否从ZooKeeper中查找,并提交到Kafka。 kafka.consumer.auto.offset.reset latest 当没有offset记录时,从指定的位置消费数据。
意的是,如果配置为random,创建比较早的文件有可能长时间未被读取。如果配置为oldest或者youngest,那么进程会需要较多时间来查找最新的或最旧的文件。可选值:random,youngest,oldest。 maxBackoff 4000 当Channel满了以后,尝试