正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 * <brokers>为获取元数据的Kafka地址。 */ object DstreamKafkaWriterTest1 { def main(args: Array[String])
理 > meta > 服务配置”,切换“基础配置”为“全部配置”,搜索配置项“http.server.session.timeout.secs”,如果有该配置项请参考如下步骤修改,如果没有该配置项则版本不支持动态调整会话时长。 MRS 3.x及之后版本集群:登录FusionInsight
security.LoginUtil - JaasConfiguration loginContextName=Client principal=hdfsDeveloper useTicketCache=false keytabFile=XXX\sample_project\s
选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 单击“节点管理”并展开节点组信息,查看所有主机状态。 主机列表中包括节点名称/资源ID、IP、状态、规格、云硬盘、可用区等信息。 单击列表中指定的节点名称,查看单个节点状态及指标。 单击“监控”页签,可以查看当前节点的监控图表信息。
handler.count”,查看其值。如果值小于或等于128,则设置为128;如果大于128但小于192,则设置为192。 搜索配置项“ipc.server.read.threadpool.size”,查看其值。如果值小于5,则设置为5。 单击“保存”,单击“确定”。 在HDF
security.LoginUtil - JaasConfiguration loginContextName=Client principal=hdfsDeveloper useTicketCache=false keytabFile=XXX\sample_project\s
Manager系统。 选择“服务管理 > Storm > 下载客户端 > 完整客户端”,下载客户端程序到“远端主机”,即目标ECS。 登录到客户端下载的目标ECS。 在Linux系统中,使用如下命令解压客户端压缩包。 tar -xvf MRS_Storm_Client.tar tar
/join并为一个,不但减少了大量的全局barrier,而且无需物化很多中间结果RDD,这将极大地提升性能。Spark把这个叫做流水线(pipeline)优化。 Transformation和Action(RDD的操作) 对RDD的操作包含Transformation(返回值还是
在MRS管理控制台,单击集群名称,进入MRS集群详情页面失败。 原因分析 用户MRS集群选的是企业项目A(包含MRS FULLACCESS和ECS FULLACCESS权限)。 VPC选的是企业项目B。 安全组选的是企业项目A。 IAM这边加入的组没有任何权限设置。 经过分析用户的VPC企业项目B里缺少vpc
'obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名' 如果表已有业务数据,需要同步迁移原数据文件至修改后的Location地址。 父主题: 集群服务对接OBS示例
文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host:连接的节点ip,必填 port:连接的端口,必填 不支持 - Rate Source rowsPerSecond:每秒产生的行数,默认值1 rampUp
module.Krb5LoginModule required useKeyTab=true keyTab="user.keytab" principal="test@<系统域名>" useTicketCache=false storeKey=true debug=true; }; te
管理MRS租户资源 管理MRS租户资源目录 管理MRS租户资源池 清除MRS租户队列配置 重装Yarn服务后手动恢复MRS租户数据 删除MRS租户 Superior调度器模式下管理MRS全局用户策略 Capacity调度器模式下清除租户非关联队列 父主题: 管理MRS集群租户
使用Hue提交Coordinator定时调度作业 操作场景 该任务指导用户通过Hue界面提交定时调度类型的作业。 前提条件 提交Coordinator任务之前需要提前配置好相关的workflow作业。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在界面左
如下所示: 创建ECS委托 为MRS集群配置委托 创建OBS文件系统 Hive访问OBS文件系统 创建ECS委托 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托
用户表必须存在。 indexspecs.to.add中指定的索引不能已存在于表中。 indexnames.to.build中指定的索引名称必须已经存在于表中,或者应该是indexspecs.to.add的一部分。 在执行前面的命令之后,indexspecs.to.add中指定的所有索
多租户资源管理 特性简介 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 部分用户(例如银行、政府单位等)对数据安全非常关注,不接受将自己的数据与其他用户放在一起。
文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host:连接的节点ip,必填 port:连接的端口,必填 不支持 - Rate Source rowsPerSecond:每秒产生的行数,默认值1 rampUp
setProperty("java.security.krb5.conf", KRB); LoginUtil.login(PRINCIPAL, KEYTAB, KRB, conf); } // 初始化Job任务对象。 Job job = Job.getInstance(conf
文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host:连接的节点ip,必填 port:连接的端口,必填 不支持 - Rate Source rowsPerSecond:每秒产生的行数,默认值1 rampUp