检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Topic中的角色称为Producer。 Consumer 从Kafka topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题: Kafka开发指南(安全模式)
topic中的角色称为Producer。 Consumer 从Kafka Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题: Kafka开发指南(安全模式)
配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 获取AK/SK和Endpoint信息 使用AK/SK方式对接OBS前,
SecurityKafkaWordCount。 /** *从Kafka的一个或多个主题消息。 * <checkPointDir>是Spark Streaming检查点目录。 * <brokers>是用于自举,制作人只会使用它来获取元数据 * <topics>是要消费的一个或多个kafka主题的列表
KafkaWordCount。 /** * 从Kafka的一个或多个主题消息。 * <checkPointDir>是Spark Streaming检查点目录。 * <brokers>是用于自举,制作人只会使用它来获取元数据 * <topics>是要消费的一个或多个kafka主题的列表
KafkaWordCount。 /** * 从Kafka的一个或多个主题消息。 * <checkPointDir>是Spark Streaming检查点目录。 * <brokers>是用于自举,制作人只会使用它来获取元数据 * <topics>是要消费的一个或多个kafka主题的列表
SecurityKafkaWordCount。 /** *从Kafka的一个或多个主题消息。 * <checkPointDir>是Spark Streaming检查点目录。 * <brokers>是用于自举,制作人只会使用它来获取元数据 * <topics>是要消费的一个或多个kafka主题的列表
MRS集群中安装的组件能否删除? 如何查看MRS集群各组件配置文件路径? Hive服务运行状态为亚健康是否会影响上层业务? 如何获取MRS集群ZooKeeper的IP地址和端口?
信息页面,在“连接信息”区域单击“安全组”右侧的安全组名称进入安全组控制台,在入方向规则页签中添加一个“协议端口”为TCP 3306,“源地址”为Hive的MetaStore实例所在的所有节点IP的规则。 Ranger仅支持对接RDS服务MySQL数据库,版本号为:MySQL 5
RS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 配置host文件 配置集群安全组规则。
Task节点的实例规格,例如:{ECS_FLAVOR_NAME}.linux.bigdata,{ECS_FLAVOR_NAME}可以为c3.4xlare.2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参数建议从M
MemArtsCC结构图说明 名称 说明 MemArtsCC SDK 提供OBSA(OBSA,Hadoop客户端插件) FS客户端使用的可访问OBS服务器对象的SDK。 CCSideCar MemArtsCC的管理面服务,提供MemArtsCC服务监控采集、配置下发、服务启停等能力。 CCWorker
ftp-connector或sftp-connector目的连接属性 参数 说明 写入目录 最终数据在文件服务器保存时的具体目录。必须指定一个目录。 文件格式 Loader支持文件服务器中存储数据的文件格式,默认支持以下两种: CSV_FILE:表示文本格式文件。目的连接为数据库型连接时,只支持文本格式。
RS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则
clean”,双击“clean”运行maven的clean命令。 选择“Maven > clickhouse-examples > Lifecycle > install”,双击“install”运行maven的insatll命令。 图2 maven工具的clean和install
idempotent属性:指定当策略中有多个规则时,如果满足当前规则,是否检查下一个规则。 示例:<policy name ="policy2" idempotent ="true">。 其默认值为“true”,表示其中的规则和行为操作是幂等的,可以继续检查下一个规则。如果值为“false”,则将在当前规则处停止评估。
解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级 解决Yarn的ResourceManager内存泄漏问题 增加对调用ECS getSecuritykey接口异常的监控 优化刷新临时AK/Sk流程 解决ResourceManager内存泄露问题 解决Hive union语句合并小文件报错问题
RS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则
RS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则
RS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则