检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以使用客户端样例目录中MapReduce程序对日志目录的数据进行分析、处理。 将MapReduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。 为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。 业务实现。 登录客户端所在节点，新建“dataLoad”目录
可以使用客户端样例目录中Mapreduce程序对日志目录的数据进行分析、处理。 将Mapreduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。 为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。 业务实现。 登录Oozie客户端所在节点，新建“dataLo
建议配置值为1000。不可与“Map数”同时配置。 - 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 文件输出 HTML输入
配置多个SFTP服务器时，多个SFTP服务器指定目录的数据导入到HDFS/OBS的同一个目录下。 设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径，如果连接器配置多个地址此处可
是否正常。 登录MRS集群详情页面，选择“告警管理”。 在告警列表中，单击此告警所在行，在告警详情中，查看该告警的DBService备服务器地址。 登录主DBService服务器。 执行ping 备DBService心跳IP地址命令检查备DBService服务器是否可达。 是，执行2。
00，建议配置值为1000。不可与“Map数”同时配置。 - 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 文件输出 HTML输入 文件输出
37:21088” - hive.metastore.sasl.enabled MetaStore服务是否使用SASL安全加固。表权限功能需要设置为“true”。 true hive.metastore.kerberos.principal Hive组件中MetaStore服务的Pr
com/templeton/v1/jobs 参数 参数 描述 fields 如果设置成*，那么会返回每个job的详细信息。如果没设置，只返回任务ID。现在只能设置成*，如设置成其他值，将出现异常。 jobid 如果设置了jobid，那么只有字典顺序比jobid大的job才会返回。比如，如果
可以使用客户端样例目录中MapReduce程序对日志目录的数据进行分析、处理。 将MapReduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。 为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。 业务实现。 登录Oozie客户端所在节点，新建“dataLo
检查主备Manager服务器间的网络是否正常。 打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在告警详情中，查看该告警的备Manager服务器地址。 登录主管理节点。 执行以命令，检查备Manager服务器是否可达。 ping 备Manager心跳IP地址 是，执行2。 否，执行1
本指导以连接MySQL数据源为例。 MRS 1.x及MRS 3.x版本。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Presto”。设置“参数类别”为“全部配置”，进入Presto配置界面修改参数配置。 搜索“connector-customize”配置。 按照配置项说明填写对应参数。
executor.memory=2G --driver-memory 设置driver的运行内存。 2G --num-executors 设置executor启动数量。 5 --executor-cores 设置executor核数。 2 --jars 上传任务额外依赖包，用于给任务添加任务的外部依赖包。
如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？ 问题 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？ 原因分析
检查主备DBService服务器间的网络是否正常。 在FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的DBService备服务器地址。 以root用户登录主DBService服务器，用户密码为安装前用户自定义，请咨询系统管理员。 执行ping 备DBService心跳
执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数，限制executor的核数和内存。 例如设置如下： set hive.execution.engine=spark; set spark.executor
policies”中的策略，启用新的scheduler监控。设置为“true”表示启用监控，并根据scheduler的信息，启动抢占的功能。设置为“false”表示不启用。 false yarn.resourcemanager.scheduler.monitor.policies 设置与scheduler配合的“
不支持“Map数据块大小”，请配置“Map数”。 - 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 表输出 HTML输入
protection 设置HBase通道是否加密，包含HBase客户端访问HBase服务端的RPC（remote procedure call）通道，HMaster和RegionServer间的RPC通道。设置为“privacy”表示通道加密，认证、完整性和隐私性功能都全部开启，设置为“int
的堆内存的阈值时，将“-Xmx”值调整为默认值的2倍，比如：“-Xmx”默认设置为2G时，调整“-Xmx”的值为4G。在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > 待操作集群名称 > Hive > CPU和内存 > HiveServer堆内存使用率统计
transition下，由于一些region不能对外提供服务，客户端操作可能无法正常执行。 启用Region Transition恢复功能 在HMaster上设置chore服务，用于识别和恢复长期处于transition的region。 登录FusionInsight Manager界面，选择“集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
