检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark小文件自动合并 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 配置Spark Executor退出时执行自定义代码 配置Spark动态脱敏 Spark Distinct聚合优化 配置Spark作业失败时清理残留文件 配置Spark加
t.properties文件拷贝到客户端(客户端目录以/opt/client为例)的HBase/hbase/conf目录下，并修改hbaseclient.properties文件。userKeytabName，krb5ConfName对应于从2获取的文件的地址。若使用REST接口时需修改rest
Web UI没有显示损坏数据的信息。 当此错误被修复后，HDFS Web UI没有及时移除损坏数据的相关信息。 回答 DataNode只有在执行文件操作发生错误时，才会去检查磁盘是否正常，若发现数据损坏，则将此错误上报至NameNode，此时NameNode才会在HDFS Web UI显示数据损坏信息。
使用Flume客户端加密工具 安装Flume客户端后，配置文件的部分参数可能需要填写加密的字符，Flume客户端中提供了加密工具。 安装Flume客户端。 登录安装Flume客户端的节点，并切换到客户端安装目录。例如“/opt/FlumeClient”。 切换到以下目录 cd f
确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1.txt”，将“log1.txt”的内容复制保存到“input_data1.txt”。 在客户端安装节点下创建文件目录：“/home/data”。将上述文件上传到此“/home/data”目录下。 将ka
hiveShimClass, thriftType); // 添加Hive配置文件 config.addResource("hive-site.xml"); // 添加HBase配置文件 Configuration conf = HBaseConfiguration
hiveMetaClass, hiveShimClass); // 添加Hive配置文件 config.addResource("hive-site.xml"); // 添加HBase配置文件 Configuration conf = HBaseConfiguration
x的过程中，修改了openssl的文件目录权限，导致LdapServer服务无法正常启动，从而引起登录认证失败。 处理步骤 以root用户登录集群的Master节点。 执行chmod 755 /usr/bin/openssl命令，修改/usr/bin/openssl的文件目录权限为755。 执行su
HostName 产生告警的主机名。 对系统的影响 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 可能原因 ZooKeeper服务异常。 所有NameService服务异常。 处理步骤 检查ZooKeeper服务状态。 登录MRS集
数据恢复 HDFS文件属性恢复 根据导出的权限信息在目的集群的后台使用HDFS命令对文件的权限及属主/组信息进行恢复。 $HADOOP_HOME/bin/hdfs dfs -chmod <MODE> <path> $HADOOP_HOME/bin/hdfs dfs -chown <OWNER>
创建数据连接 功能介绍 创建数据连接 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/data-connectors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。
查询用户（组）与IAM委托的映射关系 功能介绍 获取用户（组）与IAM委托之间的映射关系的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/agency-mapping 表1 路径参数
查询数据连接列表 功能介绍 查询数据连接列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/data-connectors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。
创建弹性伸缩策略 功能介绍 创建弹性伸缩策略。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
Storm-HDFS开发指引 Storm-HBase开发指引 Storm Flux开发指引 Storm对外接口介绍 如何使用IDEA远程调试业务 使用旧插件storm-kafka时如何正确设置offset IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
MapReduce应用日志文件滚动输出配置 参数 描述 默认值 mapreduce.task.userlog.limit.kb MR应用程序单个task日志文件大小限制。当日志文件达到该限制时，会新建一个日志文件进行输出。设置为“0”表示不限制日志文件大小。 51200 yarn
-metadata 从Hudi的元数据中获取文件列表 N false --verify-metadata-file-listing 根据文件系统验证Hudi元数据中的文件列表 N false --help、-h 查看帮助 N false --support-timestamp 将
Loader输入类算子 CSV文件输入 固定宽度文件输入 表输入 HBase输入 HTML输入 Hive输入 Spark输入 父主题： Loader算子帮助
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
