检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
skManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对Flink应用的执行有着很大的影响意义。用户可通过如下操作对Flink集群性能做优化。 操作步骤 配置JobManager内存。 JobManager负责任务的调度,以及TaskMa
IntelliJ IDEA中远程提交拓扑执行Main时报错:Command line is too long 问题 IntelliJ IDEA中远程提交拓扑,执行Main方法时IntelliJ IDEA报如下错 : Command line is too long. Shorten
conf(必须)放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JDBCServer,所以更适合在多主实例、静态分配模式下使用。 父主题: Spark运维管理
numberOfTaskSlots”,表示netty的客户端和服务端的线程数目设置。 “taskmanager.network.netty.client.connectTimeoutSec”:默认是120s,表示taskmanager的客户端连接超时的时间。 “taskmanager.network
面单击“确定”,保存配置。 在Oozie的“概览”界面,选择右上角“更多 > 重启服务”,重启Oozie服务。 创建工作流,请参考使用Hue创建工作流。 添加互信操作,请参考配置Oozie节点间用户互信。 在工作流编辑页面,选择“Ssh”按钮,将其拖到操作区中。 在弹出的“Ssh”窗口中配置以下参数并单击“添加”。
面单击“确定”,保存配置。 在Oozie的“概览”界面,选择右上角“更多 > 重启服务”,重启Oozie服务。 创建工作流,请参考使用Hue创建工作流。 添加互信操作,请参考配置Oozie节点间用户互信。 在工作流编辑页面,选择“Ssh”按钮,将其拖到操作区中。 在弹出的“Ssh”窗口中配置以下参数并单击“添加”。
Sqlline接口介绍 用户可以直接使用sqlline.py在服务端对HBase进行SQL操作。 Phoenix的sqlline接口与开源社区保持一致。 详情请参见http://phoenix.apache.org/。 父主题: HBase对外接口介绍
test_1 (id int, name text, value text); 配置“HBase输入”算子,生成三个字段A、B和C: 设置了数据连接器后,可以单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。
statistics.histogram.enabled:指定是否开启直方图功能,默认为false。 配置参数 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 取值范围
total-timeout-ms 1800000(30分钟) 提交的总重试超时时间,单位为毫秒。 commit.status-check.num-retries 3 在连接丢失后检查提交是否成功的次数,在未知提交状态下失败。 commit.status-check.min-wait-ms 1000(1秒) 重
前提条件 MRS集群已安装CDL组件,并且正常运行。 CDL数据同步任务使用到Kafka组件。 操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 配置 > 全部配置”。 在右上角搜索框中搜索如下表2参数,并修改对应的参数值。 表2
通过集群将非ViewFS文件系统配置为ViewFS时,ViewFS中的文件夹的用户权限与默认NameService中的非ViewFS不同。因为目录权限不匹配,所以已提交的MR作业运行失败。 在集群中配置ViewFS的用户,需要检查并校验目录权限。在提交作业之前,应按照默认的NameServ
container本地化默认的日志级别是INFO。用户可以通过配置“yarn.nodemanager.container-localizer.java.opts”来改变日志级别。 配置描述 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,选择“全部
行任何作业,所以如果full GC的时间过长,超出了RM与ZK之间定期交互时长的阈值,就会出现主备倒换。 登录FusionInsight Manager,选择“集群 > 服务 > Yarn > 配置 > 全部配置”,在左侧选择“Yarn > 自定义”,在“yarn.yarn-site
System.out.println(result); jsc.stop(); 上面是简单示例,其它sparkSQL特性请参见如下链接:http://spark.apache.org/docs/latest/sql-programming-guide.html#runni
查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即logs目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下:
查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的
administrators 用于指定MapReduce集群管理员列表,可以配置用户和用户组,用户或者用户组之间用逗号间隔,用户和用户组之间用空格间隔,举例:userA,userB groupA,groupB。当配置为*时表示所有用户或用户组。 mapred supergroup,System_administrator_186
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。