检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建弹性伸缩策略 POST /v2/{project_id}/autoscaling-policy/{cluster_id} 集群HDFS文件接口 获取指定目录文件列表 GET /v2/{project_id}/clusters/{cluster_id}/files?path={direct
登录beeline客户端后,执行“set hivevar:batchid=xxxx” 使用说明: 其中“xxxx”表示每一次通过beeline提交任务的批次号,通过该批次号,可以识别出先提交的任务。如果提交任务时不带批次号,该特性功能不会启用。“xxxx”的值是执行任务时指定的,如下
登录beeline客户端,启动断线重连机制。 beeline set hivevar:batchid=xxx 其中“xxxx”表示每一次通过beeline提交任务的批次号,通过该批次号,可以识别出先提交的任务。如果提交任务时不带批次号,该特性功能不会启用。“xxxx”的值是执行任务时指定的,如下
directory</name> <value>[1]查询中间结果的临时目录</value> </property> Java样例:使用JDBC接口访问HBase。 public String getURL(Configuration conf) {
“USER”及“PASSWD”可在用户账号一览表中查看DBservice数据库默认用户及初始密码。 Hive元数据存放在外部的关系型数据库存储时,请通过如下步骤获取信息: 集群详情页的“数据连接”右侧单击“单击管理”。 在弹出页面中查看“数据连接ID”。 在MRS控制台,单击“数据连接”。
将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。 通过“表输出”算子,将A、B和C输出到“test_1”表中: select * from test_1; 父主题: Loader输入类算子
将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。 通过“表输出”算子,将A、B和C输出到“test_1”表中: select * from test_1; 父主题: Loader输入类算子
DataNode进程关闭,导致NameNode为每一个存在DataNode上的block调度额外的副本,在没有故障的磁盘中引起不必要的块复制。 为了防止此情况,用户可以通过配置DataNodes来承受dfs.data.dir目录的故障。登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索参数“dfs
DataNode进程关闭,导致NameNode为每一个存在DataNode上的block调度额外的副本,在没有故障的磁盘中引起不必要的块复制。 为了防止此情况,用户可以通过配置DataNodes来承受dfs.data.dir目录的故障。登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索参数“dfs
配置MRS集群存算分离 MRS存算分离配置流程说明 配置MRS集群通过IAM委托对接OBS 配置MRS集群通过Guardian对接OBS 存算分离常见问题
ZooKeeper)之间定期交互时长的阈值,导致RM与ZK失联,从而造成RM主备倒换。 在多任务情况下,RM需要保存多个任务的鉴权信息,并通过心跳传递给各个NM(NodeManager),即心跳Response。心跳Response的生命周期短,默认值为1s,一般可以在JVM minor
} String url = sBuilder.toString(); 直连Impalad实例时,若当前连接的Impalad实例故障则会导致访问Impala失败。 加载Hive JDBC驱动。 // 加载Hive JDBC驱动 Class.forName(HIVE_DRIVER);
HetuEngine样例程序(Python3) 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 父主题: 开发HetuEngine应用
ZooKeeper)之间定期交互时长的阈值,导致RM与ZK失联,从而造成RM主备倒换。 在多任务情况下,RM需要保存多个任务的鉴权信息,并通过心跳传递给各个NM(NodeManager),即心跳Response。心跳Response的生命周期短,默认值为1s,一般可以在JVM minor
checkpointing.interval 必填 Checkpoint触发间隔(毫秒),通过-yD添加,单位毫秒。 60000 execution.checkpointing.timeout 必填 Checkpoint超时时长,通过-yD添加,默认值为30min。 30min parallelism
将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。 通过“表输出”算子,将A、B和C输出到“test_1”表中: select * from test_1; 父主题: 输入算子
将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。 通过“表输出”算子,将A、B和C输出到“test_1”表中: select * from test_1; 父主题: 输入算子
启。 如果异常角色较多,可单击右上角的“管理操作”选择启动所有组件。 如果存在其他情况导致服务异常无法解决,请联系技术服务协助处理。 也可通过集群Manager页面进行启动实例操作,具体请参考实例管理概述。 父主题: 集群管理类
} String url = sBuilder.toString(); 直连Impalad实例时,若当前连接的Impalad实例故障则会导致访问Impala失败。 加载Hive JDBC驱动。 // 加载Hive JDBC驱动 Class.forName(HIVE_DRIVER);
} String url = sBuilder.toString(); 直连Impalad实例时,若当前连接的Impalad实例故障则会导致访问Impala失败。 加载Hive JDBC驱动。 // 加载Hive JDBC驱动 Class.forName(HIVE_DRIVER);