检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ftp-connector或sftp-connector数据源连接属性 参数 说明 源目录或文件 源数据实际存储的形态,可能是文件服务器包含一个目录中的全部数据文件,或者是单个数据文件。 文件格式 Loader支持文件服务器中存储数据的文件格式,默认支持以下两种: CSV_FILE:表示文本格式文件。目的连接为数据库型连接时,只支持文本格式。
Redis部署方式 Redis部署方式,当前仅支持“Cluster”。 Redis类型数据连接需配置该参数。 Cluster Redis服务器列表 Redis实例的连接信息,格式为“IP地址:端口”,多个实例之间通过逗号分隔。 Redis类型数据连接需配置该参数。 192.168
jks证书库的密码。 ./genPwFile.sh cat password.property 使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务
之间为负载均衡方式。如果消费者实例都属于不同的消费组,则消息会被广播给所有消费者。如上图中,Topic1中的消息,同时会广播到Consumer Group1与Consumer Group2中。 关于Kafka架构和详细原理介绍,请参见:https://kafka.apache.org/24/documentation
二级索引”和“HMaster(角色) > 二级索引”中修改。 HBase全局二级索引支持以下重点特性: 复合索引 支持指定多个列作为索引列(支持跨列族)。 覆盖索引 支持指定多个列/列族作为覆盖列/列族冗余存储到索引表中,用于索引查询中对非索引列的快速查询。 索引TTL 支持索引表T
84:2181”。 user 访问HetuEngine的用户名,即在集群中创建的“人机”用户的用户名。 socksProxy SOCKS代理服务器,如“localhost:1080”。 httpProxy HTTP代理服务器地址,如“localhost:8888”。 applicationNamePrefix
scheduler.maximum-allocation-mb”可配置单个Container最大内存可用值。不支持实例级别的修改,需要在Yarn服务的配置中修改参数值,并重启Yarn服务。 单击“保存”,单击“确定”。重启NodeManager角色实例。 界面提示“操作成功”,单击“完成”,NodeManager角色实例成功启动。
登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警所在行。 在“告警详情”区域,从“定位信息”中获取“HostName”、“PartitionName”和“DirName”。 确认“HostName”节点的“PartitionName”对应的磁盘是否在对应服务器的插槽上。 是,执行5。 否,执行6。
支持安装补丁不自动重启服务的能力 MRS大数据组件 MRS Kafka启动脚本中添加对端口占用的检查逻辑 MRS 1.8.10.1 修复问题列表: MRS大数据组件 MRS Kafka优化健康检查及滚动重启逻辑 补丁兼容关系 MRS 1.8.10.6补丁包中包含MRS 1.8.10.6及之前发布的所有补丁解决的问题。
目前出现上述问题时使用的是默认配置,如表1所示,HDFS客户端到NameNode的RPC连接存在keep alive机制,保持连接不会超时,尽力等待服务器的响应,因此导致已经连接的HDFS客户端的操作会长时间无响应。 对于已经长时间无响应的HDFS客户端,可以进行如下操作: 等待NameNo
目前出现上述问题时使用的是默认配置,如表1所示,HDFS客户端到NameNode的RPC连接存在keep alive机制,保持连接不会超时,尽力等待服务器的响应,因此导致已经连接的HDFS客户端的操作会长时间无响应。 对于已经长时间无响应的HDFS客户端,可以进行如下操作: 等待NameNo
使用Python提交Flink普通作业 获取样例工程“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv
使用Python提交Flink普通作业 获取样例工程“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv
设置某一个分组采集数据时Event中的key-value值。 仅可在“properties.properties”文件中配置。 byteOffsetHeader false 是否在每一个Event头中携带该Event在源文件中的位置信息,该信息保存在“byteoffset”变量中。 skipToEnd
解决HBase服务Manager上保存多命名空间,后台不生效问题 新增HDFSWrapper支持AbstractFileSystem 补丁兼容关系 MRS 1.9.3.3补丁包中包含MRS 1.9.3版本发布的所有补丁内容。 安装补丁的影响 安装MRS 1.9.3.3补丁期间会重启MRS Manager,滚动重启Ha
使用指定的默认格式输出结果。 --vertical 如果指定,默认情况下使用垂直格式输出结果。在这种格式中,每个值都在单独的行上打印,适用显示宽表的场景。 --time 如果指定,非交互模式下会打印查询执行的时间到stderr中。 --stacktrace 如果指定,如果出现异常,会打印堆栈跟踪信息。 --config-file
“core-site.xml”中(例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”)配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效,在现有的压缩格式列表中增加如下值: “com.huawei
系统每60秒周期性检测sssd服务的状态,如果连续4次(3分钟)查询不到sssd进程或者无法获取LdapServer中的用户时,产生该告警。 当进程恢复且可以获取LdapServer中的用户时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 25006 重要 是 告警参数 参数名称
Manager MRS Manager新增运维通道功能。 MRS Manager单击审计日志详细信息下载报错。 MRS Manager界面中主机列表下的磁盘使用率计算优化。 Kafka组件问题 KAFKA-5413 Kafka日志清理失败:segment文件offset跨度过大。
“false”表示不允许,此时只允许query中显式包含CROSS JOIN语法。 true JDBC应用在服务端的“spark-defaults.conf”配置文件中设置该参数。 Spark客户端提交的任务在客户端配的“spark-defaults.conf”配置文件中设置该参数。 Spark长时间任务安全认证配置