检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Oozie作业执行失败常用排查手段 根据任务在Yarn上的任务日志排查，首先把实际的运行任务，比如Hive SQL通过beeline运行一遍，确认Hive无问题。 出现“classnotfoundException”等报错，排查“/user/oozie/share/lib”路径下各组件有没有报错的类的
ClickHouse表字段设计 规则 不允许用字符类型存放时间或日期类数据，尤其是需要对该日期字段进行运算或者比较的时候。 不允许用字符类型存放数值类型的数据，尤其是需要对该数值字段进行运算或者比较的时候。字符串的过滤效率相对于整型或者特定时间类型有下降。 建议 不建议表中存储过多的
MapReduce任务commit阶段优化 操作场景 默认情况下，如果一个MR任务会产生大量的输出结果文件，那么该job在最后的commit阶段，会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中，大Job的commit过程会严重影响任务的性能表现
处理步骤2 DBservice的浮动IP配置需要同网段内没有被使用过的IP，也就是在配置前ping不通的IP，请修改DBService浮动IP配置。 父主题： 使用Hive
管理Loader算子的字段配置信息 操作场景 该任务指导用户在创建或编辑Loader作业时关联、导入或导出算子的字段配置信息。 关联操作 将输入算子的字段配置信息关联到输出算子中。 编辑操作 编辑算子配置参数中的字段信息。 导入操作 通过算子导出文件或算子模板文件将字段配置信息导入到算子中
HetuEngine连接方式说明 表1 连接方式说明 连接方式 是否支持用户名密码认证方式 是否支持Keytab认证方式 是否支持客户端跨网段访问 使用前提 HSFabric 是 是 是 确保业务侧和HetuEngine服务端HSFabric所在业务节点网络互通 适用于双平面的网络场景
弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP，绑定新申请的弹性云主机IP，并配置安全组出入规则。 下载客户端程序，请参考下载MRS客户端。 以root用户安装集群客户端。 执行以下命令解压客户端包。
HetuEngine连接方式说明 表1 HetuEngine连接方式说明 连接方式 是否支持用户名密码认证方式 是否支持Keytab认证方式 是否支持客户端跨网段访问 使用前提 HSFabric 是 是 是 确保业务侧和HetuServer服务端HSFabric所在业务节点网络互通
关联、编辑、导入、导出算子的字段配置信息 操作场景 该任务指导用户在创建或编辑Loader作业时关联、导入或导出算子的字段配置信息。 关联操作 将输入算子的字段配置信息关联到输出算子中。 编辑操作 编辑算子配置参数中的字段信息。 导入操作 通过算子导出文件或算子模板文件将字段配置信息导入到算子中
使用CDM服务迁移MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移，
CDL任务运行一段时间后发生“104”或“143”报错 现象描述 CDL任务运行一段时间后，Yarn任务失败，并返回状态码“104”或“143”。下图为返回状态码“143”： 可能原因 抓取到Hudi中的一批数据量过大，导致任务内存不足。 处理步骤 登录FusionInsight
访问MRS集群Manager（2.x及之前版本） 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理，用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager，请根据实际情况进行选择： 通过弹性IP访问
弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP，并与新申请的ECS绑定，并配置安全组出入规则。 下载客户端程序。 登录MRS Manager系统。
使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错 问题 使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错： 回答 调整Sqoop源码包中的代码，将timestamp强制转换类型和
Hive不支持复杂类型字段名称中包含哪些特殊字符 问题 Hive复杂类型字段名称中包含特殊字符，导致建表失败。 回答 Hive不支持复杂类型字段名称中包含特殊字符。 特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 用户在创建相关字段时，应避免使用相关特殊字符
Spark导出带有相同字段名的表，结果导出失败 问题 在Spark的spark-shell上执行如下代码失败： val acctId = List(("49562", "Amal", "Derry"), ("00000", "Fred", "Xanadu")) val rddLeft
弹性云服务器的网卡需要与MRS集群在同一个网段中。 在弹性公网IP页面为弹性云服务器申请和绑定弹性公网IP，具体请参考为弹性云服务器申请和绑定弹性公网IP。 配置安全组出入规则，具体请参考配置安全组规则。 下载客户端程序。 登录MRS Manager系统。
弹性云服务器的网卡需要与MRS集群在同一个网段中。 在弹性公网IP页面为弹性云服务器申请和绑定弹性公网IP，具体请参考为弹性云服务器申请和绑定弹性公网IP。 配置安全组出入规则，具体请参考配置安全组规则。 下载客户端程序。 登录MRS Manager系统。
Hive不支持复杂类型字段名称中包含哪些特殊字符 问题 Hive复杂类型字段名称中包含特殊字符，导致建表失败。 回答 Hive不支持复杂类型字段名称中包含特殊字符。 特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 用户在创建相关字段时，应避免使用相关特殊字符
弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP，绑定新申请的ECS的IP，并配置安全组出入规则。 下载客户端程序，请参考下载MRS客户端。 登录存放下载的客户端的节点，再安装客户端。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
