检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2及之后版本的集群上的所有Master节点执行步骤1~2。 再参考配置跨集群互信配置。 检查互信是否成功。 成功，则配置结束。 失败，请刷新客户端配置后再检查互信是否成功，若依然不成功请联系运维人员处理。 若已经配置互信场景： 登录MRS 1.8.2及之后版本的集群上的Master节点。
LdapServer主备倒换 次要 27000 DBService DBServer主备倒换 次要 38003 Kafka Topic数据保存周期配置调整 提示 43014 Spark Spark 数据倾斜 提示 43015 Spark Spark SQL 超大查询结果 提示 43016
配置Spark SQL防御规则 配置Spark SQL防御操作场景 用户可以在Manager界面配置Spark的SQL防御规则，根据业务调整对应SQL防御规则的参数。 配置Spark SQL防御前提条件 已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。
jar”，并将该Jar包及在Past Releases下载的Jar包上传至集群中安装了HDFS和Hive客户端的任一的节点上。 以客户端安装用户，登录上一步上传了Jar包的节点。 执行以下命令认证用户。 cd 客户端安装目录 source bigdata_env kinit 组件业务用户（
ftp或sftp作为源连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“换行符”配置无效。 字段分割符 源数据的每个字段分割标识字符。 说明： ftp或sftp作为源连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“字段分割符”配置无效 编码类型 源数据的文本编码类型。只对文本类型文件有效。
clickHouseProperties.setSocketTimeout(60000); 如果导入并配置ClickHouse样例工程中的“clickhouse-example.properties”配置文件中“sslUsed”参数配置为“true”时，则需要在ClickhouseJDBCHaDemo、Dem
HetuEngine > 配置 > 全部配置 > QAS（角色） > SQL诊断“，参数“qas.sql.auto.diagnosis.enabled”为“true”表示开启SQL诊断功能，可根据业务需求配置SQL诊断推荐参数。 单击“保存”，保存配置。 单击“实例”，勾选所有QAS实例，选择“更多
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 以下为代码示例： hbase.root.logger=INFO,console,RFA //hbase客户端日志输出配置，console：输出到控制台；RFA：输出到日志文件 hbase.security
hdfs://hacluster/sparkJobHistory/ 100G 相关配置参数请参见表2。 参数入口：参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 对于大作业扫描特性中Hive组件，需要配置“hive-ext.record.mr.applicatio
MapReduce服务 MRS 修改服务配置参数 04:01 MRS修改服务配置参数指导 MapReduce服务 MRS 配置MRS集群弹性伸缩 03:44 配置MRS集群弹性伸缩 MapReduce服务 MRS 安装及使用MRS客户端 03:44 安装及使用MRS客户端 MapReduce服务
使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager，选择“ 服务 > Flume > 配置工具”。 图1 选择配置工具 “Agent名”选择“server”，然后选择要使用的so
配置Windows通过EIP访问普通模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
怎么通过客户端设置Map/Reduce内存？ 问题现象 客户端怎么设置Map/Reduce内存？ 处理步骤 Hive在执行SQL语句前，可以通过set命令来设置Map/Reduce相关客户端参数。 以下为与Map/Reduce内存相关的参数： set mapreduce.map.memory
”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息，请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器”。 开启Kerberos认证集群需要在Windows上配置集群的ip与主机名映射关系。登录集群后台，执行命令cat
32767:from all lookup default 没有配置ntp外部服务器时只会有一条om路由信息“om_rt”。 本章节仅适用于MRS 3.x及以后版本。 如果FusionInsight Manager创建的路由信息与企业网络规划配置的路由信息发生冲突时，集群管理员可以使用“autoroute
Zone”，在区域列表页面中单击，添加安全区。 表1 安全区配置参数 参数名称 描述 示例 Zone Name 配置安全区的名称。 test Zone Description 配置安全区的描述信息。 - Admin Users/Admin Usergroups 配置安全区的管理用户/用户组，可在安全区中添加及修改相关资源的权限策略。
后提交的所有数据。 非增量查询：不设置。 Hudi表查询操作如下： 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录，配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户（如果集群未开启Kerberos认证，请跳过该操作）
配置Flink任务进程参数 操作场景 Flink on YARN模式下，有JobManager和TaskManager两种进程。在任务调度和运行的过程中，JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对F
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
