检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1-hw-ei-311001-SNAPSHOT.jar 由于“$SPARK_HOME/jars/streamingClient010/*”默认没有添加到classpath,所以需要手动配置。 在提交应用程序运行时,在命令中添加如下参数即可,详细示例可参考在Linux环境中编包并运行Spark程序。
1-hw-ei-311001-SNAPSHOT.jar 由于“$SPARK_HOME/jars/streamingClient010/*”默认没有添加到classpath,所以需要手动配置。 在提交应用程序运行时,在命令中添加如下参数即可,详细示例可参考在Linux环境中编包并运行Spark程序。
frozen tables in 数据库名称; 查询冻结表的冻结分区 查询冻结分区: show frozen partitions 表名; 默认元数据库冻结分区类型只支持int、string、varchar、date、timestamp类型。 外置元数据库只支持PostgreSQL
schema sf2 原因分析 Presto中创建schema需要Hive的管理者权限,当前用户权限不足。 处理步骤 MRS Manager界面操作: 方法一: 登录MRS Manager页面,选择“系统设置 > 用户管理”。 在对应用户所在行的“操作”列,单击“修改”。 单击“选择并绑定
10及之前版本,登录MRS Manager页面,然后选择“服务管理 > Yarn > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2.x版本,单击集群名称,登录集群详情页面,选择“组件管理 > Yarn > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。
调测Hive Python样例程序 Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令: chmod +x python-examples -R。 在“python-examples/pyCLI_sec.py”中
主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 编译JDBC样例程序: 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样
调测Hive Python样例程序 Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令: chmod +x python-examples -R。 在python-examples/pyCLI_sec.py中的h
主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 编译JDBC样例程序: 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样
conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”若不存在,则手动添加该参数项。 表1 参数说明 参数 描述 默认值 spark.task.maxFailures task retry次数。 4 spark.yarn.max.executor.failures
TopologyBuilder builder = new TopologyBuilder(); // 分隔符格式,当前采用“|”代替默认的“,”对tuple中的field进行分隔 // HdfsBolt必选参数 RecordFormat format
map(_.trim) assert(filePaths.length > 0) // windowTime设置窗口时间大小,默认2分钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args)
击“确定”。 图1 TokenServer堆内存使用率 查看TokenServer使用的堆内存是否已达到TokenServer设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Guardian
确定”。 图1 RangerAdmin直接内存使用率 查看RangerAdmin使用的直接内存是否已达到RangerAdmin设定的阈值(默认值为最大直接内存的80%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
UserSync堆内存使用率”,单击“确定”。 图1 UserSync堆内存使用率 查看UserSync使用的堆内存是否已达到UserSync设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
UserSync非堆内存使用率”,单击“确定”。 图1 UserSync非堆内存使用率 查看UserSync使用的非堆内存是否已达到UserSync设定的阈值(默认值为最大非堆内存的80%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
TagSync堆内存使用率”,单击“确定”。 图1 TagSync堆内存使用率 查看TagSync使用的堆内存是否已达到TagSync设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
PolicySync堆内存使用率”,单击“确定”。 图1 PolicySync堆内存使用率 查看PolicySync使用的堆内存是否已达到PolicySync设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
PolicySync非堆内存使用率”,单击“确定”。 图1 PolicySync非堆内存使用率 查看PolicySync使用的非堆内存是否已达到PolicySync设定的阈值(默认值为最大非堆内存的90%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务> Ranger
Agent > Flume堆内存使用率”,单击“确定”。 图1 Flume堆内存使用率 查看Flume使用的堆内存是否已达到Flume设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称