检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
table_name：数据库下对应的本地表名称，用于将分布式表映射到本地表上。 sharding_key：分片键（可选参数），分布式表会按照这个规则，将数据分发到各个本地表中。 Distributed表引擎使用示例： --先创建一个表名为test的ReplicatedMergeTree本地表 CREATE
使用Hue提交Oozie HDFS作业 使用Hue提交Oozie Streaming作业 使用Hue提交Oozie Distcp作业 使用Hue提交Oozie SSH作业 使用Hue提交Coordinator定时调度作业 使用Hue提交提交Bundle批处理作业 在Hue界面中查询Oozie作业结果 配置Oozie节点间用户互信
选择安全区内包含的服务及具体资源。 在“Select Resource Services”中选择服务后，需要在“Resource”列中添加具体的资源对象，例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区，配置如下：
下。 图6 下载集群客户端提示框 单击“确定”后，等待客户端软件生成成功。 在MRS服务管理控制台的集群列表中，单击集群名称，在集群的“节点管理”页签，单击包含“master1”的节点名称，在ECS详情页面单击右上角的“远程登录”登录Master1节点。 图7 查看Master1节点
Maven”，选择Maven home directory为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数，依次单击“Apply > OK”。 图13 选择本地Maven安装目录 设置IntelliJ IDE
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark on
自定义排序器 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class
(GET) 描述 获取服务器WebHCat的版本 URL http://www.myserver.com/templeton/v1/version 参数 无 返回结果 参数 描述 supportedVersions 所有支持的版本 version 当前服务器WebHCat的版本 例子
(GET) 描述 获取服务器WebHCat的版本 URL https://www.myserver.com/templeton/v1/version 参数 无 返回结果 参数 描述 supportedVersions 所有支持的版本。 version 当前服务器WebHCat的版本。
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
3.5.0及之后版本集群。 MRS支持在后台配置告警屏蔽状态和平滑次数，告警产生次数小于等于平滑次数时不上报告警信息。 使用PuTTY工具，以omm用户登录主OMS节点。 执行以下命令修改alarm_filter_config.json配置文件，若此文件不存在，则新建此文件。 vi
Flume正常连接Kafka后发送消息失败 问题现象 使用MRS版本安装集群，主要安装ZooKeeper、Flume、Kafka。 在使用Flume向Kafka发送数据功能时，发现Flume发送数据到Kafka失败。 可能原因 Kafka服务异常。 Flume连接Kafka地址错误，导致发送失败。
如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。
page” 登录Manager时界面报错“认证信息无效” Manager界面超时退出后无法正常登录 升级Python后无法登录Manager页面 修改集群域名后无法登录Manager页面 登录Manager界面后页面空白无内容 集群节点内安装了原生Kerberos导致登录集群失败 macOS使用浏览器访问MRS
【Spark WebUI】使用IE浏览器访问Spark2x WebUI界面失败 用户问题 通过IE浏览器访问Spark的WebUI界面，偶尔出现访问失败情况。 问题现象 访问页面失败，浏览器无法显示此页，如下图所示： 原因分析 部分低版本IE浏览器处理SSL握手有问题导致访问失败。
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 运行任务 在运行样例程序时需要指定<checkpointDir> <brokers> <topic>
将Oracle数据库中的数据导入HDFS时各连接器的区别 问题 使用Loader将Oracle数据库中的数据导入到HDFS中时，可选择的连接器有generic-jdbc-connector、oracle-connector、oracle-partition-connector三种，要怎么选？有什么区别？
ig 检查客户端节点网络连接。 在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息，如未包含，需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与集群各主机在网络上互通。
在本地Windows环境中查看Spark程序调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/mavenlocal/org/apache/l
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
