检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“ERROR”:转移过程中出现同名文件时任务将停止执行并报错,已转移的文件导入成功,同名的文件及未转移的文档导入失败。 OVERRIDE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。
“ERROR”:转移过程中出现同名文件时任务将停止执行并报错,已转移的文件导入成功,同名的文件及未转移的文档导入失败。 OVERRIDE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于3000。
开源REST接口完整和详细的描述请参考官网上的文档以了解其使用方法:https://spark.apache.org/docs/2.2.2/monitoring.html#rest-api。 准备运行环境 安装客户端。在节点上安装客户端,如安装到“/opt/client”目录。
“ERROR”:转移过程中出现同名文件时任务将停止执行并报错,已转移的文件导入成功,同名的文件及未转移的文档导入失败。 OVERRIDE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于3000。
“ERROR”:转移过程中出现同名文件时任务将停止执行并报错,已转移的文件导入成功,同名的文件及未转移的文档导入失败。 OVERRIDE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。
compaction.schedule.enabled 否 true 是否阶段性生成压缩plan,即使关闭在线压缩的情况下也建议开启 compaction.tasks 否 10 压缩Hudi表task并行度 index.state.ttl 否 7D 索引保存的时间,默认为7天(单位
开源REST接口完整和详细的描述请参考官网上的文档以了解其使用方法:https://archive.apache.org/dist/spark/docs/3.3.1/monitoring.html#rest-api。 准备运行环境 安装客户端。
查看MySQL是否开启GTID功能: 使用show global variables like '%gtid%'命令查看是否开启, 具体开启方法参考MySQL对应版本的官方文档。
开源REST接口完整和详细的描述请参考官网上的文档以了解其使用方法:https://archive.apache.org/dist/spark/docs/3.3.1/monitoring.html#rest-api。 准备运行环境 安装客户端。
更多信息可参考Ranger官方文档。 如需添加更多规则,可单击按钮添加。 单击“Add”,在策略列表可查看策略的基本信息。 用户通过Hive客户端对配置了数据脱敏策略的表执行select操作,系统将对数据进行处理后进行展示。
解决的问题 MRS 3.1.2-LTS.2.9修复问题列表: MRS Manager 解决重装主机后hetu的worker启动不到该主机上的问题 解决混搭集群,arm镜像证书与X86镜像证书不互信,导致作业提交到该arm节点上运行失败问题 解决获取ECS的临时ak/sk失败告警帮助文档缺失问题
MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配以使用量作为排列依据,使得容量小的队列有竞争优势。
更多信息可参考Ranger官方文档。 如需添加更多规则,可单击按钮添加。 单击“Add”,在策略列表可查看策略的基本信息。 用户通过Spark2x客户端对配置了数据脱敏策略的表执行select操作,系统将对数据进行处理后进行展示。 父主题: Ranger权限策略配置示例
更多信息可参考Ranger官方文档。 如需添加更多规则,可单击按钮添加。 单击“Add”,在策略列表可查看策略的基本信息。 用户通过Spark2x客户端对配置了数据脱敏策略的表执行select操作,系统将对数据进行处理后进行展示。 父主题: Ranger权限策略配置示例
更多信息可参考Ranger官方文档。 如需添加更多规则,可单击按钮添加。 单击“Add”,在策略列表可查看策略的基本信息。 用户通过Hive客户端对配置了数据脱敏策略的表执行select操作,系统将对数据进行处理后进行展示。
更多信息可参考Ranger官方文档。 如需添加更多规则,可单击按钮添加。 单击“Add”,在策略列表可查看策略的基本信息。 用户通过HetuEngine客户端对配置了数据脱敏策略的表执行select操作,系统将对数据进行处理后进行展示。 父主题: Ranger权限策略配置示例
详细配置可参考Flume官方文档:https://flume.apache.org/FlumeUserGuide.html#flume-interceptors。 仅可在“properties.properties”文件中配置。
“ERROR”:转移过程中出现同名文件时任务将停止执行并报错,已转移的文件导入成功,同名的文件及未转移的文档导入失败。 编码类型 导出文件的编码格式,如UTF-8。导出文本文件时才能配置。 压缩 使用SFTP协议导数据时,是否开启压缩传输功能以减小带宽使用。
“ERROR”:转移过程中出现同名文件时任务将停止执行并报错,已转移的文件导入成功,同名的文件及未转移的文档导入失败。 编码类型 导出文件的编码格式,如UTF-8。导出文本文件时才能配置。 压缩 使用SFTP协议导数据时,是否开启压缩传输功能以减小带宽使用。
使用tez引擎进行select操作(包含union all)数据正常,外面套一个insert后导致数据丢失问题 Hudi 解决Hudi对接Hive会造成/tmp目录下的临时文件残留的问题 Hue 解决Hue在查询返回数据量大的情况下会导致HUE页面卡死不可用的问题 解决Hue单击“文档