检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方AD服务器。 是，执行7。 否，执行8。 执行以下命令查看是否能连通第三方AD服务。 telnet IP port 其中IP为第三方AD服务器IP地址，port为第三方AD服务器使用端口。 是，执行8。 否，联系运维人员检查网络。 联系第三方AD服务管理人员，检查AD服务是否正常。
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值，如何在Spark命令中指定参数值？ 回答 Spark的配置项，不仅可以在配置文件中设置，也可以在命令中指定参数值。 在Spark客户端，应用执行命令添加如下内容设置参数值，命令执行完成后立即生效。
创建SparkSQL角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自
创建SparkSQL角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自
集群租户的规划与创建。 服务与动作 - 单击“添加”指定当前SQL防御规则所关联的SQL引擎并配置规则的阈值参数。 每条规则可以关联1个SQL引擎，如需针对其他SQL引擎继续配置，可以继续添加规则。 服务：选择当前SQL防御规则所关联的SQL引擎。 SQL请求满足防御规则后，系统的处理操作有以下类型：
如何修改ClickHouse服务时区？ 问题现象 用户插入数据到ClickHouse时发现时区不对，差了八小时。 原因分析 Clickhouse时区默认设置为Europe/Moscow，需要修改为当地时区。 解决步骤 登录FusionInsight Manager页面，选择“集群
<value>true</value> 重启HDFS，如图1 所示。 图1 重启hdfs 登录MRSManager，选择“服务管理 > HDFS > 服务配置”，将“参数类别”设置为“全部配置”。 搜索并查看“dfs.storage.policy.enabled”的参数值是否为“tr
配置ClickHouse SQL防御规则 登录FusionInsight Manager，选择“集群 > SQL防御”，打开SQL防御页面。 参考添加MRS SQL防御规则添加针对ClickHouse的SQL防御规则。 ClickHouse SQL引擎支持的各类型SQL防御规则可参考MRS
参见https://spark.apache.org/docs/latest/sql-programming-guide.html 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadcastJoinThreshold
为什么主NameNode重启后系统出现双备现象 问题 为什么主NameNode重启后系统出现双备现象？ 出现该问题时，查看ZooKeeper和ZKFC的日志，发现ZooKeeper服务端与客户端（ZKFC）通信时所使用的session不一致，ZooKeeper服务端的sessionI
管理节点上配置定时备份。 执行以下命令，切换目录。 cd ${BIGDATA_HOME}/om-server/om/sbin 执行以下命令，配置定时备份Manager告警、审计或者服务审计信息。 ./setNorthBound.sh -t 信息类型 -i 远程服务器IP -p 服务器使用的SFTP或FTP端口
TABLE 语法 DROP TABLE [ IF EXISTS ] table_name 描述 删除存在的表。 可选参数IF EXISTS指定时，如果删除的表不存在，则不会报错。 被删除的数据行将被移动到HDFS的回收站。 示例 create table testfordrop(name
在Manager页面，选择“集群 > 服务 > Oozie > 配置 > 全部配置”，修改oozie的服务配置参数“oozie.processing.timezone”值为“GMT+0800”（修改配置需要重启服务生效）。 在Oozie编辑器页面，提交Coordinator定时调度任务时，单击频率
window_start, window_end FlinkSQL支持设置Source的并发 本章节适用于MRS 3.3.0及以后版本。 FlinkSQL支持通过使用参数“source.parallelism”设置Source算子的并发数，解决下游算子的并发数引起的一些问题，例
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值，如何在Spark命令中指定参数值？ 回答 Spark的配置项，不仅可以在配置文件中设置，也可以在命令中指定参数值。 在Spark客户端，应用执行命令添加如下内容设置参数值，命令执行完成后立即生效。
Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用
在Manager页面，选择“集群 > 服务 > Oozie > 配置 > 全部配置”，修改oozie的服务配置参数“oozie.processing.timezone”值为“GMT+0800”（修改配置需要重启服务生效）。 在Oozie编辑器页面，提交Coordinator定时调度任务时，单击频率
spark.yarn.executor.memoryOverhead设置不生效如何处理？ 问题现象 Spark任务需要调整executor的overhead内存，设置了参数spark.yarn.executor.memoryOverhead=4096，但实际计算的时候依旧按照默认值1024申请资源。
Spark SQL访问DWS表 应用场景 华为云提供MapReduce服务（MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark SQL语言，用于对结构化数据进行操作。使用Spark
schemas from mysql命令即可查询MySQL数据库。 MRS 2.x版本。 创建“mysql.properties”配置文件，内容如下： connector.name=mysql connection-url=jdbc:mysql://MySQL IP地址:3306 connection-user=用户名
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
