检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZKServerPrincipal zookeeper/hadoop.<系统域名> ZooKeeper服务端principal。请联系管理员获取对应账号。 下列代码片段在样例工程中com.huawei.bigdata.spark.examples包的FemaleInfoCollection类的main方法中。
Manager角色界面创建一个角色。 在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”。 在“default”队列的“权限”列,勾选“提交”,单击“确定”保存。 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限
参与数据比较的列族。 - BlackList Columns 不参与数据比较的列族。 - Where Condition 自定义比较条件 - 如果需比较多张表,可单击“添加”新增。 在数据比较任务列表中单击新建作业所在行的“启动”,启动数据比对任务。 运行结束后,可在数据比较任务列表的“比较结果”列查看运行结果。
OVERWRITE:如果使用了这个关键字,目标表(或分区)的数据将被删除,并使用文件中读取的数据来替代。 限制 如果要加载数据到指定分区,用户必须在partition子句中列出表的所有字段。 不支持复杂类型数据,比如Array,Map等。 不支持外部表(external)。 数据文件的格式应当与目标表的文件格式一样。
MRS 2.1.0.5 修复问题列表: MRS大数据组件 impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题 MRS 2.1.0.3 修复问题列表: MRS Manager Manager
2.1.0.8 修复问题列表: MRS Manager 解决委托访问OBS,ECS接口限流问题 MRS Manager支持多人登录 支持全链路监控 MRS大数据组件 carbon2.0升级 解决HBASE-18484问题 MRS 2.1.0.7 修复问题列表: MRS Manager
Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,在Hive实例列表中,查看所有HiveServer或MetaStore实例状态是否都呈现未知状态。 是,执行2。 否,执行4。 在Hive实例列表上方,选择“更多 > 重启实例”,重启HiveServer/MetaStore进程。
否,执行3.a。 在服务列表查看HBase服务是否正常。 是,执行3.a。 否,执行2.c。 查看告警界面的相关告警,参照对应告警帮助进行处理。 输入正确的HiveQL语句,观察命令是否正确执行。 是,执行4.e。 否,执行3.a。 检查Spark服务是否异常。 在服务列表查看Spark服务是否正常。
户密码及用户名,详细内容请参见使用Kibana创建用户并授权。 es.nodes:需要连接的IP,可登录CSS管理控制台,在集群列表的“内网访问地址”列即可查看对应集群的IP地址。 es.port:外部访问Elasticsearch集群端口,默认为9200。 es.resource:1创建的索引名称。
6 修复问题列表: MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表: MRS大数据组件
参数名称 说明 是否必须配置 topic 表示kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_PLAINTEXT/SSL/SASL_SSL四种协议,分别对应MRS
Hive相关配置修改错误。 处理步骤 检查ZooKeeper服务状态。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”,在告警列表中查看是否有“ALM-12007 进程故障”告警产生。 是,执行2。 否,执行5。 在“ALM-12007 进程故障”的“定位信息”中查看
UI”对应的“ResourceManager”进入Web界面。 图1 ResourceManager Web UI 查找到对应的Spark应用程序,单击应用信息的最后一列“ApplicationMaster”,即可进入Spark UI页面。 图2 ApplicationMaster 图3 Spark UI页面
以上(含300节点),每个批次1%(向下取整)个节点。 批次时间间隔 滚动重启实例批次之间的间隔时间,默认为0。 设置批次时间间隔参数可以增加滚动重启期间大数据组件进程的稳定性。 建议设置该参数为非默认值,例如10。 退服超时时间 角色实例在滚动重启过程中的退服等待时间,该参数仅
于0,则会一次性打印所有结果,通常用于重定向SQL执行结果。 登录客户端时,可选-disableISO8601参数,用于控制查询结果的时间列展示格式。不指定该参数会显示年月日时分秒格式,指定则显示时间戳。 如果服务端关闭了SSL配置,则需在客户端需也关闭SSL配置才能通信,操作为:
在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面。 单击“计算实例”,单击待操作实例对应的租户名。 单击“WebUI”列的“LINK”链接,将在新页面展示计算实例任务监控页面信息。首次进入为“CLUSTER OVERVIEW”页面,可查看计算实例任务监控页面信息。
MergeTree引擎在建表的时候支持列字段和表级的TTL。 当列字段中的值过期时,ClickHouse会将其替换成数据类型的默认值。如果分区内,某一列的所有值均已过期,则ClickHouse会从文件系统中删除这个分区目录下的列文件。当表内的数据过期时,ClickHouse会删除所有对应的行。 在列上配置TTL:
se表中的每个列都归属于某个列族。 列族 列族是预定义的列集合,存储在HBase Schema中。如果需要在列族下创建一些列,首先需创建列族。列族将HBase中具有相同性质的数据进行重组,且没有类型的限制。同一列族的每行数据存储在同一个服务器中。每个列族像一个属性,如压缩包、时间戳、数据块缓存等。
Manager角色界面创建一个角色。 在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”。 在“default”队列的“权限”列,勾选“提交”,单击“确定”保存。 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限
Manager日志以及GC日志等。 页面入口:在YARN的Web UI界面,查找到对应的Flink应用程序。单击应用信息的第一列ID,然后选择Logs列单击进去即可打开。 使用Yarn客户端获取或查看Task Managers、Job Manager的日志,具体操作如下: 下载并