检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
5来访问。 解决办法 修改或者添加自定义配置“allow.everyone.if.no.acl.found”参数为“true”,重启Kafka服务。 删除Topic设置的ACL。 例如: kinit test_user 需要使用Kafka管理员用户(属于kafkaadmin组)操作。
rors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。 确认本地环境网络正常。 打开浏览器
Flink向Kafka生产并消费数据Java样例代码 功能简介 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar包可在MRS client目录下获取。 样例代码
登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43009”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制 > JobHistory的GC时间”。单击“确定”,查看GC时间。
告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 存在KuduTserver实例CPU占用率过高。
string 否 \n 输出字段 配置关系型数据库输出字段的相关信息: 字段名:配置输出字段的字段名。 表列名:配置数据库表的列名。 类型:配置字段类型,需要和数据库的字段类型一致。 长度:配置字段长度,字段值实际长度太长则按配置的长度截取,“类型”为“CHAR”时实际长度不足则空格补
告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法使用Kudu服务。 可能原因 存在KuduTserver实例内存占用率过高。
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 TaskName 任务名称。 对系统的影响 执行恢复任务失败后,系统会自动回滚,如果回滚失败,可能会导致数据丢失,数据状态未知等问题,有可能会影响业务功能。 可能原因 该告警产生原因可能是执行恢复任务前
空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中,SparkSQL支持矢量化读取ORC数据(这个特性在Hive的历史版本中已经得到支持)。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。 该特性可以通过下面的配置项开启:
空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中,SparkSQL支持矢量化读取ORC数据(这个特性在Hive的历史版本中已经得到支持)。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。 该特性可以通过下面的配置项开启:
用户基于业务需求可预估资源使用周期。 具有较稳定的业务场景。 需要长期使用资源。 计费周期 包年/包月MRS集群的计费周期是根据您购买的时长来确定的(以UTC+8时间为准)。一个计费周期的起点是您购买的MRS集群启动成功或续费资源的时间(精确到秒),终点则是到期日的23:59:59。 未到期的包年/包月集群也支
Action 功能描述 流程任务运行期间发生异常后,流程的异常结束节点。 参数解释 Kill Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name kill活动的名称 message 根据业务需要,自定义的流程异常打印信息 ${wf:errorMess
配置Oozie作业异常结束打印信息 功能描述 流程任务运行期间发生异常后,流程的异常结束节点。 参数解释 Kill Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name kill活动的名称 message 根据业务需要,自定义的流程异常打印信息 ${wf:errorMess
便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的元数据(meta-data)写入到一个额外的持久化文件系统中。 如果需要使用savepoints的功能,强烈推荐用户为
API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用:http://hadoop.apache.org/docs/r3.1
便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的元数据(meta-data)写入到一个额外的持久化文件系统中。 如果需要使用savepoints的功能,强烈推荐用户为
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机节点信息。 对系统的影响 nscd服务不可用时,可能会影响该节点从LdapServer上同步数据,此时,使用id命令可能会获取不到Ldap中的数据,影响上层业务。 可能原因 nscd服务未启动。
群节点变化,易用性不佳。 针对上述风险,MRS服务提供了基于弹性负载均衡ELB的部署架构图1。基于ELB的部署架构,可以将用户访问流量自动均匀分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。当其中一台ClickHouse后端节点发生故障时,ELB通过故障转移方式正常对外提供服务。
x及以前版本) 告警解释 系统每30秒周期性检查YARN服务处于挂起状态(Pending)的任务所占内存量,并把挂起状态任务的内存量和阈值进行比较。当检测到挂起状态任务的内存量超过阈值时产生该告警。 用户可通过“系统设置> 阈值配置 > 服务 > Yarn > 队列root挂起的内存量 > 队列root挂起的内存量”修改阈值。
不建议分区列选择类型为float或double的字段,因为精度问题,可能导致分区列字段的最小值、最大值所在记录无法导入。 id 分区列空值 配置对数据库列中为null值记录的处理方式。 值为“true”时,分区列的值为null的数据会被处理; 值为“false”时,分区列的值为null的数据不会被处理。 true