检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hive:使用Hive的orc相关实现。 设置为native hive spark.gluten.sql.columnar.scanOnly 是否仅开启scan加速。 设置为true,开启scanOnly模式。 false 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-env
数据表中存在备份后新增加的数据,那恢复后将丢失这些数据。选择“false”表示存在同名表时不执行恢复任务。 单击“校验”查看恢复任务的配置是否正确。 如果队列名称不正确,校验失败。 如果不存在指定的命名空间,校验失败。 如果不满足强制覆盖的条件,校验失败。 单击“确定”保存。 在
POST /v2/{project_id}/clusters/{cluster_id}/sql-execution 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围:
Broker安装后的工作日志。 prestart.log Broker启动前的工作日志。 checkService.log Broker启动是否成功的检查日志。 start.log Broker进程启动日志。 stop.log Broker进程停止日志。 checkavailable
访问远端DataCenter的用户Keytab文件。在本地选择1k获取的“user.keytab”文件。 user.keytab 开启双向传输 跨域数据传输是否开启双向传输,默认为“是”。 是:双向传输,请求通过本端的HSFabric将转发至远端的HSFabric,如果开启双向传输,需要配置本端HSFabric地址。
创建HBase表,构造数据,列需要包含key,modify_time,valid。其中每条数据key值全表唯一,modify_time代表修改时间,valid代表是否为有效数据(该样例中'1'为有效,'0'为无效数据)。 示例:进入hbase shell,执行如下命令: create 'hbase_table'
cation_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中,运行结束后会基于YARN的配置是否汇聚到HDFS目录中,详情请参见Yarn常用配置参数。 日志归档规则: MapReduce的日志启动了自动压缩归档功能,缺省情况下,当日志
cation_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中,运行结束后会基于YARN的配置是否汇聚到HDFS目录中,详情请参见Yarn常用配置参数。 日志归档规则: MapReduce的日志启动了自动压缩归档功能,缺省情况下,当日志
{pid},其中{pid}为上一步中查询到的进程号。 等待进程自动重启,可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动,如果可以查到结果说明进程启动成功。 为各组件添加或修改配置项,配置项的值与超时时间一致,单位为秒。 HDFS/MapReduce/Yarn:添加自定义配置项http
ite.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认
er,使用到的其他参数见表1。 表1 客户端参数列表 参数名称 含义 默认值 spark.thriftserver.ha.enabled 是否启用HA模式,设置为true表示启用。如果启用了HA,需要在连接字符串中将host:port修改为“ha-cluster”。否则会自动退出HA模式。
eeline无法承载导致。 解决办法 执行select count(*) from table_name;前确认需要查询的数据量大小,确认是否需要在beeline中显示如此数量级的数据。 如数量在一定范围内需要显示,请调整hive客户端的jvm参数, 在hive客户端目录/Hiv
job.jobId 需要执行数据备份的作业ID。 作业ID可通过登录Loader webUI在已创建的作业查看。 1 use.keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。 true client.principal
准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager,选择“集群 > 待操作集群的名称 > 服务”查看Yarn的状态“运行状态”是否为“良好”。 是,执行1.c。 否,Yarn状态不健康,执行1.b。 修复Yarn异常,任务结束。 确定修改NodeManager的存储目录场景。
数据表中存在备份后新增加的数据,那恢复后将丢失这些数据。选择“false”表示存在同名表时不执行恢复任务。 单击“校验”查看恢复任务的配置是否正确。 如果队列名称不正确,校验失败。 如果不存在指定的恢复目录,校验失败。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。
{pid},其中{pid}为上一步中查询到的进程号。 等待进程自动重启,可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动,如果可以查到结果说明进程启动成功。 为各组件添加或修改配置项,配置项的值与超时时间一致,单位为秒。 HDFS/MapReduce/Yarn:添加自定义配置项http
需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。此外,如果数据量以天为周期有规律的变化,并且希望在数据量变化前提前完成集群的扩缩容,可以使用MRS的资源计划(按时间段设置Task节点数量范围)特性。 配置弹性伸缩规则
择为“TCP”,“端口”需分别选择“28443”和“20009”。请参见创建安全组。 如果界面提示“添加安全组规则失败”,请检查安全组配额是否不足,请增加配额或删除不再使用的安全组规则。 在EIP管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参见为弹性云服务器申请和绑定弹性公网IP。
创建HBase表,构造数据,列需要包含key,modify_time,valid。其中每条数据key值全表唯一,modify_time代表修改时间,valid代表是否为有效数据(该样例中'1'为有效,'0'为无效数据)。 示例:进入hbase shell,执行如下命令: create 'hbase_table'
ite.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认