检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
enableSaslEncryption”值为“false”，并重启对应的实例。 客户端作业： 客户端应用在提交应用的时候，修改spark-defaults.conf配置文件的“spark.authenticate.enableSaslEncryption”值为“false”。 父主题： Spark故障排除
查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数 配置MRS集群审计日志转储 父主题： MRS集群运维
数据处理规则一览表 转换步骤 规则描述 CSV文件输入 分隔符在原始数据中连续出现两次，将生成空字符串字段。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 遇到类型转换错误，当前数据保存为脏数据。 固定宽度文件输入 原始数据包含NULL值，不做转换处理。
xylJzm90bgbKWUIiHy6ZV+ObTzdcA 执行如下命令生成Jupyter配置文件。 jupyter notebook --generate-config 修改配置文件。 vi ~/.jupyter/jupyter_notebook_config.py 添加如下配置：
从Oracle官网获取Oracle驱动文件，格式为“ojdbcxxx.jar”，例如“ojdbc8.jar”。 此处上传的驱动文件名有校验规则：Oracle数据源的驱动文件校验前缀“ojdbc”以及结尾的“jar”，中间的版本号不做校验，可以是任意字符，但是整体长度不能超过80个字符，且文件大小不超过100MB。
目录下。 修改表或分区的数据文件保存格式。 ALTER TABLE table_name [PARTITION partition_spec] SET FILEFORMAT file_format; 该操作仅会改变表或分区的元数据，对存量数据文件的文件类型变更，SQL层面无法操作，只能在外部进行操作。
表和视图的权限，不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多，在授权时可能需要等待一段时间。例如表的文件数量为1万时，可能需要等待2分钟。 表1 设置角色 任务场景 角色授权操作 设置Hive管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称
id}”日志文件并排除问题。 检查Yarn的任务日志，查看失败、失去响应的任务日志，并删除重复数据。 检查Storm的worker日志。 备份日志到存储服务器。 每周 用户管理 检查用户密码是否将要过期并通知修改。“机机用户”用户修改密码需要重新下载keytab文件。 分析告警 导出指定周期内产生的告警并分析。
进入“/tmp/logs/执行用户名/bucket-logs-tfile/任务ID/Flink任务ID”目录，将该目录下文件全部下载到本地。 图6 获取作业日志文件 在2.c下载的文件中搜索“root.sg.d1”，如下图显示则表示数据从IoTDB中读取成功。 图7 读取IoTDB数据成功 父主题：
directory 执行cat /proc/net/bonding/bond0命令，查看配置文件中Bonding Mode参数的值是否为fault-tolerance。 bond0为bond配置文件名称，请以2查询出的文件名称为准。 # cat /proc/net/bonding/bond0 Ethernet
leading JobManager” 使用不同用户执行yarn-session创建Flink集群失败 Flink业务程序无法读取NFS盘上的文件 自定义Flink log4j日志输出级别不生效
创建FlinkServer作业对接JDBC 创建FlinkServer作业写入数据至HBase表 创建FlinkServer作业写入数据至HDFS文件系统 创建FlinkServer作业写入数据至Hive表 创建FlinkServer作业写入数据至Hudi表 创建FlinkServer作业写入数据至Kafka消息队列
压缩归档功能，缺省情况下，当日志大小超过30MB的时候，会自动压缩。最多保留20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表 日志类型 日志文件名 描述 运行日志 zookeeper-<SSH_USER>-<process_name>-<hostname>
响。 MRS 3.0.5.1补丁需要集群管理员手工下载该补丁并在集群后台任意一个Master节点执行安装。操作步骤请参考补丁文件包内README.md文件。 集群扩容后需要再次在Master节点执行该补丁安装步骤，为新扩容节点安装该补丁，并重启相应服务。 补丁下载地址 华北-北京
看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight Manager，选择“运维 > 备份恢复 > 恢复管理”。
HDFS故障排除 往HDFS写数据时报错“java.net.SocketException” 删除大量文件后重启NameNode耗时长 EditLog不连续导致NameNode启动失败 当备NameNode存储元数据时，断电后备NameNode启动失败 dfs.datanode.data
ClickHouse > 实例”，单击任意ClickHouseServer角色名称。进入ClickHouseServer“概览”页面，单击“配置文件”中的users.xml文件，查看ClickHouse用户密码。 命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。
> 自定义”，对参数文件“hive-site.xml”添加自定义参数，设置“名称”为“hive.allow.only.admin.create”，“值”为“true”，修改后重启所有Hive实例。 是否需要在Spark/Spark2x客户端中启用此功能？ 是，执行4。 否，操作结束。
选择“MetaStore（角色） > 自定义”，对参数文件“hivemetastore-site.xml”添加自定义参数，设置“名称”为“hive.supports.over.32.roles”，“值”为“true”。 选择“HiveServer（角色） > 自定义”，对参数文件“hive-site.xml
操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和drive
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
