检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
slot数量:不填默认是1; 内存(MB):输入值最小为512。 单击“保存”保存配置,单击“提交”提交作业。 返回作业管理页面,可以查看到已创建的作业名称、类型、状态、作业种类和描述等信息。 作业创建完成后,可在对应作业的“操作”列对作业进行启动、开发、停止、编辑、删除、查看作业
dir”参数设置为当前kerberos用户的目录(如“/user/admin/hbase-staging”),或者为客户端(kerberos用户)提供已配置的目录所必需的rwx权限。 重试ImportTsv操作。 父主题: HBase故障排除
使用Spark-Beeline工具创建Spark和HBase表table1、table2,并通过HBase插入数据。 确保JDBCServer已启动。然后在Spark2x客户端,使用Spark-Beeline工具执行如下操作。 使用Spark-Beeline工具创建Spark表table1。
单击“确定”保存并显示所选指标。 单击“清除”可批量取消全部选中的指标项。 导出监控指标报表。 单击“导出”,Manager将生成指定时间范围内、已勾选的服务资源指标报表文件,请选择一个位置保存,并妥善保管该文件。 如果需要查看指定时间范围的监控指标对应的分布曲线图,请单击“查看”,界面
单击“通信安全授权”右侧的开关关闭授权,在弹出窗口单击“确定”。 关闭授权后将导致集群状态变更为“网络通道未授权”,集群部分功能不可用,请谨慎操作。 图3 关闭通信安全授权 若用户已开启敏感操作保护(详见IAM服务的敏感操作),则输入选择的对应验证方式获取的验证码进行进行验证,避免误操作带来的风险和损失。
nodes”,其中xx为当前集群节点个数。 参考根据集群节点数优化Manager配置,对当前集群配置进行优化。 配置完成后等待1小时后,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
oop-yarn”、“/tmp/logs”这三个目录中生成的文件不属于有用文件。 是,执行7。 否,执行8。 用户确认丢失块所在的文件是否已备份。 是,执行8。 否,执行11。 以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询MRS集群管理员。执行如下命令: 安全模式:
否,执行5。 spoolDir的监控目录为用户自定义配置文件properties.properties中.spoolDir的参数值。若监控目录文件已传输完毕,则该监控目录下的所有文件以.COMPLETED后缀结尾。 本地打开用户自定义配置文件properties.properties,搜索配置文件中是否有“org
径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader
用户通过Loader界面进行数据导出作业,导出流程如图1所示。 图1 导出流程示意 用户也可以通过Shell脚本来更新与运行Loader作业。该方式需要对已安装的Loader客户端进行配置。 父主题: 数据导出
实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口:集群已启用Kerberos认证(安全模式)时Broker端口为“sasl.port”参数的值。集群未启用Kerberos认证(普通模式)时Broker端口为“port”的值。 重新打开一个客户
(该用户需要具有操作HDFS的权限,首次认证需要修改密码) 执行以下命令创建“/tmp/input”目录。 hdfs dfs -mkdir /tmp/input 执行以下命令将已准备好的文件上传至HDFS客户端的“/tmp/input”目录下。 hdfs dfs -put local_filepath/input_data1
Start页面) 选择需导入的样例工程路径,然后单击“OK”。 图13 Select File or Directory to Import 选择从已存在的源码创建工程,然后单击“Next”。 图14 Create project from existing sources 确认导入路径和工程名称,单击“Next”。
确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参考准备Spark连接集群配置文件。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压
确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参考准备Spark连接集群配置文件。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压
径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader
方法一:申请一台windows的ECS访问MRS集群操作Impala。在安装开发环境后可直接运行样例代码。申请ECS访问MRS集群的步骤如下。 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。
例重启时无法提供服务。 服务参数配置如果使用旧的存储目录,需要更新为新目录。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 已安装好Kafka客户端。 更改Broker单个实例的存储目录时,保持活动的Broker实例数必须大于创建主题时指定的备份数。 操作步骤 更改Kafka角色的存储目录
实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口:集群已启用Kerberos认证(安全模式)时Broker端口为“sasl.port”参数的值。集群未启用Kerberos认证(普通模式)时Broker端口为“port”的值。 重新打开一个客户
单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 初始化Linux数据盘。 具体步骤可参见初始化数据盘对新磁盘进行初始化操作。 执行lsblk命令,查看新增磁盘分区信息。