检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
快速配置参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。
问题 为什么在Zookeeper服务器上启用安全的netty配置时，四个字母的命令不能与linux的netcat命令一起使用？ 例如： echo stat |netcat host port 回答 Linux的netcat命令没有与Zookeeper服务器安全通信的选项，所以当启用安
set:”选择“UTF-8”。 单击“Open”登录云服务器。 如果首次登录云服务器，PuTTY会显示安全警告对话框，询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 建立到云服务器的SSH连接后，根据提示输入用户名和密码登录弹性云服务器。 用户名、密码分别是root和创建集群时设置的密码。
据库名/表名"; 配置Spark基于Hive MetaStore方式对接OBS： 已完成配置Hive基于MetaStore方式对接OBS相关配置操作。 登录FusionInsight Manager，选择“集群 > 服务 > Spark > 配置 > 全部配置 ”。 在左侧的导航列表中选择“SparkResource
配置MemArtsCC常用参数 参数入口 请参考修改集群服务配置参数进入MemArtsCC服务配置页面。 参数说明 表1 MemArtsCC参数说明 参数 参数说明 默认值 access_token_enable Aceess token认证的开关。 开启后，SDK通过worke
Presto如何配置其他数据源？ MRS 1.9.3 Ranger证书如何更新？ MRS的Storm集群提交任务时如何指定日志路径？ 如何检查Yarn的ResourceManager配置是否正常？ 如何修改Clickhouse服务的allow_drop_detached配置项? Cli
HBase双读操作相关配置项说明 表1 hbase-dual.xml配置项 配置项名称 配置项详解 默认值 级别 hbase.dualclient.active.cluster.configuration.path 主集群HBase客户端配置目录 无 必选配置 hbase.dualclient
配置Flink任务并行度 操作场景 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀
MRS集群及ClickHouse实例运行正常，已安装ClickHouse客户端。 OpenLDAP已安装且状态正常。 对接OpenLDAP服务器创建ClickHouse用户 登录集群Manager页面，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。 参考下图图1，选择“C
默认配置修改 默认会连接Spark的Executor所在节点本地的TSD进程，在MRS中一般使用默认配置即可，无需修改。 表1 OpenTSDB数据源相关配置 配置名 描述 样例值 spark.sql.datasource.opentsdb.host 连接的TSD进程地址 空（默认值）
配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。 单击“确定”完成配置。 MRS 2.x及之前版本集群： 在MRS Manager，单击“租户管理”。 单击“动态资源计划”页签。 单击“队列配置”页签。 在租户队列表格，指定租户队列的“操作”列，单击“修改”。
配置Hudi通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
配置MRS云服务授权 用户通过MapReduce服务（MRS）管理控制台与MRS集群进行交互，查看MRS集群状态监控以及进行集群相关管理操作，首次使用MRS服务时需要进行服务授权。 进行服务授权后，MRS将在统一身份认证服务（IAM）中创建名为“mrs_admin_agency”
如果为非root用户，请参考创建并配置RDS实例操作。 单击“确定”完成创建。 配置Ranger数据连接 登录MRS控制台。 单击集群名称进入集群详情页面。 单击“数据连接”右侧的“单击管理”，进入数据连接配置界面。 单击“配置数据连接”，并配置相关参数： 组件名称：Ranger
ALM-12062 OMS参数配置同集群规模不匹配 告警解释 系统每一个小时，整点检查一次OMS参数配置和集群规模是否匹配，如果检查OMS配置的参数不足以支撑当前的集群规模，系统将发送此告警。待用户修改OMS参数配置，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除
使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。 已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。 已安装Spark客户端。 操作步骤 在Doris中创建表并插入数据。 登录安装了MySQL的节点，执行以下命令，连接Doris数据库。 如果集
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致？ 回答 Hive不支持对同一张表或同一个分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数据移走，导致任务数据异常。 解决方法是修
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
