检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持Kerberos认证的SSL加密访问。 获取参数“sasl-ssl.port”的值,默认为21009。 Topic的ACL设置 Topic的权限信息,需要在Linux客户端上,使用“kafka-acls.sh”脚本进行查看和设置,具体可参考Kafka用户权限说明。 针对不同的Topic访问场景,Kafka中API使用说明
当前CGroups仅用于限制CPU使用率。 本章节适用于MRS 3.x及后续版本集群。 配置描述 有关如何配置CPU隔离与安全的CGroups功能的详细信息,请参见Hadoop官网: MRS 3.2.0之前版本:http://hadoop.apache.org/docs/r3.1.1/hado
clickhouse client --host 主机名/实例IP --secure --port 9440 --query="insert into 表信息 FORMAT CSV" < csv文件路径 例如,如下在ClickHouse实例10.244.225.167中,恢复default_test
弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 使用本机访问MRS集群操作OpenTSDB。为MRS集群
clickhouse client --host 主机名/实例IP --secure --port 9440 --query="insert into 表信息 FORMAT CSV" < csv文件路径 例如,如下在ClickHouse实例10.244.225.167中,恢复default_test
WebUI界面启动1停止的任务。 修改字段类型 字段类型转换时,需要确保源值的数据类型能够正确转换为目标类型。如果数据类型不兼容,转换可能会失败,进而导致任务失败。 将数据类型VARCHAR修改为NUMBER 登录FusionInsight Manager,选择“集群 > 服务 > CDL”,单击“CDLService
参数解释: 指定取消同步的IAM用户组。 约束限制: 不能超过1000条。 取值范围: 不涉及 默认取值: 不涉及 user_names 否 Array of strings 参数解释: 指定取消同步的IAM用户。 约束限制: 不能超过1000条。 取值范围: 不涉及 默认取值: 不涉及
Manager界面,重启HBase服务。 配置phoenix客户端参数(未开启Kerberos认证集群可跳过此步骤)。 配置phoenix连接时使用的认证信息。进入$PHOENIX_HOME/bin,编辑hbase-site.xml文件,需配置参数如表 1 Phoenix参数配置所示。 表2 Phoenix参数配置
Kafka/kafka 使用“kafka-configs.sh”进行Kafka流量控制,常用命令如下。 命令中使用到的部分参数值获取方式如下,具体以实际获取信息为准。 ZooKeeper的任意一个节点的业务IP:登录FusionInsight Manager页面,选择“集群 > 服务 > ZooKeeper
二级索引表使用hive注册,并以json格式的值存储在HiveSERDEPROPERTIES中。由hive支持的SERDEPROPERTIES的最大字符数为4000个字符,无法更改。 父主题: 使用CarbonData
为了运行MRS产品Hive组件的Python3接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6,最高不能超过3.8。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。 Python 3
maxconnections配置项,并修改hive.server.session.control.maxconnections配置的值到合适值,不能超过1000。 保存配置并重启受影响的服务或者实例。 父主题: 使用Hive
修改“Module SDK” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings > Build
scheduler.monitor.policies”中的策略,启用新的scheduler监控。设置为“true”表示启用监控,并根据scheduler的信息,启动抢占的功能。设置为“false”表示不启用。 false yarn.resourcemanager.scheduler.monitor
检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。
thrift.port配置),可以通过Beeline或者JDBC客户端代码来连接它,从而执行SQL命令。 如果您需要了解JDBCServer的其他信息,请参见Spark官网:http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide
需要处理大量重复数据,影响作业性能。 如A表字段(P1,A1,A2)使用如下方式关联B表字段(P1,B1,B2,B3)生成C的场景中,B表信息发生大量更新,但是B中的所需字段没有更新,在该关联中仅用到了B表的B1和B2字段,对于B表,每个记录更新只更新B3字段,B1和B2不更新,因此当B表更新,可以忽略更新后的数据。
noscan;)更新表元数据后进行广播。 需要广播的表是分区表,新建表且文件类型为非Parquet文件类型。 需要广播的表是分区表,更新表数据后。 参考信息 被广播的表执行超时,导致任务结束。 默认情况下,BroadCastJoin只允许被广播的表计算5分钟,超过5分钟该任务会出现超时异常,而
拆分distinct聚合优化聚合中数据倾斜 通过两阶段聚合能消除常规的数据倾斜,但是处理distinct聚合时性能并不好。因为即使启动了两阶段聚合,distinct key也不能combine消除重复值,累加器中仍然包含所有的原始记录。 可以将不同的聚合(例如 COUNT(DISTINCT col))分为两个级别:
字、特殊字符中的3种类型字符。两个密码不能相同。两个密码不可和安全用户名相同或安全用户名的倒序字符相同。 使用SNMP协议从安全方面考虑,需要定期修改“认证密码”和“加密密码”密码。 使用SNMP v3版本时,安全用户在5分钟之内连续鉴权失败5次将被锁定,5分钟后自动解锁。 单击