检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
jar:$HIVE_HOME/lib/hive-exec-XXX.jar LIB_JARS和HADOOP_CLASSPATH中指定的jar包的版本号“XXX”需要根据实际环境的版本号进行修改。 使用Yarn客户端提交任务。 yarn --config $HADOOP_HOME/etc/hadoop jar $H
*****************************************************"); // 构造执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getE
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 磁盘慢盘故障，导致业务性能下降，阻塞业务的处理能力，严重时可能会导致服务不可用。 可能原因 磁盘老化或者磁盘坏道。
s”的值是根据eventlog文件中SparkListenerTaskStart和SparkListenerTaskEnd事件的个数的差值计算得到的。如果eventLog文件中有事件丢失，就可能出现上面的现象。 父主题： Spark2x常见问题
在使用spark-submit命令时，添加“--executor-memory MEM”参数设置内存。 示例 在执行spark wordcount计算中。1.6T数据，250个executor。 在默认参数下执行失败，出现Futures timed out和OOM错误。 因为数据量大，t
ionMaster注销失败，ResourceManager会认为ApplicationMaster异常退出并尝试重新启动ApplicationMaster。新启动的ApplicationMaster在尝试连接已经退出的Driver失败后，会在ResourceManager页面上标
流程任务所在目录名 oozie.coord.application.path Coordinator流程任务在HDFS上的存放路径 start 定时流程任务启动时间 end 定时流程任务终止时间 workflowAppUri Workflow流程任务在HDFS上的存放路径 可以根据业务需要，以“k
tion。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级操作，Connection是线程安全的，因此，多个客户端线程可以共享一个Connection。
弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 修改hosts文件中的IP信息 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则
执行以下命令，切换到客户端安装目录。 cd客户端安装目录 例如安装目录为“/opt/client”，则执行以下命令： cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证。 kinitHive业务用户 登录的用户需具备Hive admin权限。
11，这时提交队列自动变为lost_and_found队列（找不到队列的任务会被放入lost_and_found队列中），任务暂停运行。要启动该任务，用户将任务移动到叶子队列test21上。在将任务移动到叶子队列test21后，任务继续运行，此时RM重启，重启后显示提交队列为lo
*****************************************************"); // 构造执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getE
> 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签，选择“添加
huaweicloud.com/apiexplorer/#/endpoint/OBS 。 配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。 修改HDFS客户端“core-site.xml”文件中的“fs.defaultFS”参数值： 例如：修改前“fs
业务性能下降或者个别业务出现超时问题。 可能原因 告警阈值配置不合理。 网络环境异常。 处理步骤 检查阈值设置是否合理。 登录MRS Manager，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备
以下配置项需要配置路径： 1) carbon.badRecords.location 2) 创建数据库时Db_Path及其他。 对于非安全集群中的Carbon ACL权限，hive-site.xml中的参数hive.server2.enable.doAs必须设置为false。
例如：“,” 流/表结构 填写流/表结构，包含名称，类型。 - Proctime 指系统时间，与数据本身的时间戳无关，即在Flink算子内计算完成的时间。 “类型”选择“Source”时存在此参数。 - Event Time 指事件产生的时间，即数据产生时自带时间戳。 “类型”选择“Source”时存在此参数。
他组件对应的默认用户组名称为“c<集群ID>_默认用户组名”，例如“c2_hadoop”。 用户 请参见MRS集群用户账号一览表。 服务相关用户安全参数 HDFS 参数“dfs.permissions.superusergroup”表示HDFS最高权限管理员组，默认值为“supergroup”。
配置参数“carbon.scheduler.minRegisteredResourcesRatio”为0.1～1.0，默认值为0.8。只要达到此参数值，块分布可启动。 父主题： CarbonData故障排除
xml”中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间 end 定时流程任务终止时间 workflowAppUri Workflow流程任务在HDFS上的存放路径 resourceManager
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
