检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用方案。若出现集群使用问题请联系运维人员支撑处理。 配置示例:参照方案一中示例,配置策略为“允许”,目的地址为通信安全授权地址、NTP、OBS、Openstack及DNS地址的出方向规则。 父主题: 管理MRS集群
drwxrwxrwx - hdfs hadoop 0 2016-04-22 16:10 /user 创建请求上传命令,获取集群分配的可写入DataNode节点地址的信息Location。 执行如下命令访问HTTP: linux1:/opt/client
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Guardian服务不可用时,业务无法正常访问OBS。 可能原因 Guardian服务所依赖内部服务HDFS故障。 TokenServer角色实例异常。 处理步骤 检查HDFS服务状态。 在FusionInsight
提升HBase BulkLoad工具批量加载效率 操作场景 HBase BulkLoad批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件,然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。
"org.apache.storm.kafka.bolt.KafkaBolt" configMethods: #使用调用对象内部方法的形式初始化对象 - name: "withTopicSelector" #调用的内部方法名 args: #内部方法需要的入参
"org.apache.storm.kafka.bolt.KafkaBolt" configMethods: #使用调用对象内部方法的形式初始化对象 - name: "withTopicSelector" #调用的内部方法名 args: #内部方法需要的入参
15:39:00", "duration" : "2 s", "runningJobs" : [ ], "successedJobs" : [ 0 ], "failedJobs" : [ ] } ], "sqls" : [ { "id" : 0
| | 2 | | 2 | | 3 | +----------+ 将导出的jar包上传至集群客户端所在的Linux节点指定路径,例如“/opt/hive_demo”。 为方便后续操作,将样例程序目录、客户端组件目录等配置为公共变量。
打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Sp
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Sp
ClickHouse连接Kafka的认证方式,参数值选择Kerberos。 sasl_kerberos_keytab 连接Kafka的认证文件,上传2的“clickhouse_to_kafka.keytab”文件。 单击“保存”,在弹窗页面中单击“确定”,保存配置。单击“实例”,勾选C
hetu-updateKrb5.log 部署Hive集群更换域后,Hive数据源配置自动刷新时打印的日志。 hetu_utils.log 启动时预处理脚本调用工具类上传文件到HDFS时打印的日志。 日志级别 HetuEngine中提供了如表2所示的日志级别。日志级别优先级从高到低分别是OFF、ERROR、
查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdo
查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdo
查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdo
前提条件 源分组和目标分组均存在。 当前用户具备源分组和目标分组的编辑“Group Edit”权限。 当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight M
查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdo
"2016/11/08 15:39:00", "duration" : "2 s", "runningJobs" : [ ], "successedJobs" : [ 0 ], "failedJobs" : [ ] } ], "sqls" : [ { "id" : 0, "status" :
2.1.0.8 发布时间 2020-08-04 解决的问题 MRS 2.1.0.8 修复问题列表: MRS Manager 解决委托访问OBS,ECS接口限流问题 MRS Manager支持多人登录 支持全链路监控 MRS大数据组件 carbon2.0升级 解决HBASE-18484问题
Ranger鉴权的具体策略请参见鉴权策略。 OBS存算分离细粒度鉴权 对于OBS存算分离集群,如果您想对OBS上的资源进行细粒度的权限控制,可以通过MRS提供的基于IAM委托的细粒度权限控制方案进行配置,请参见配置MRS多用户访问OBS细粒度权限。 父主题: 安全