检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:
条件逻辑为“OR”,如果未添加过滤条件,全部数据成为脏数据;或者原始数据满足任意添加的过滤条件,当前行成为脏数据。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“过滤行转换”算子,过滤掉含有test的行。 转换后,输入原字段,结果如下: 父主题: 转换算子
条件逻辑为“OR”,如果未添加过滤条件,全部数据成为脏数据;或者原始数据满足任意添加的过滤条件,当前行成为脏数据。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“过滤行转换”算子,过滤掉含有test的行。 转换后,输入原字段,结果如下: 父主题: Loader转换类算子
“SS_REST_SERVER”即:ResourceManager IP地址:端口 ResourceManager IP地址:可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。 端口:ResourceMana
导入jdbc-example样例工程之后,运行时需修改以下参数: 将代码中HOST = "xxx"的“xxx”修改为Doris的Master FE节点IP地址,Master FE节点可通过在Manager界面,选择“集群 > 服务 > Doris”,查看“Leader所在的主机”获取。 将代码中PORT
Admin@123@Test@123 19位 4 需补充两个@ Admin@123@@Test@123 8到18位 5 需补充一个空格 Admin@123 Test@123 19位 5 需补充一个空格和一个@ Admin@123 @Test@123 20位 5 需补充一个空格和两个@ Admin@123 @@Test@123
表1提供了MRS服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 SDK中心地址 参考文档 Java huaweicloud-sdk-java-v3 Java Java SDK使用指导 Python huawe
查看Spark应用运行结果数据。 结果数据存储路径和格式已经由Spark应用程序指定,可通过指定文件获取。 查看Spark应用程序运行情况。 Spark主要有两个Web页面。 Spark UI页面,用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、Stages、Storage、Enviro
By数据倾斜 Group By也同样存在数据倾斜的问题,设置“hive.groupby.skewindata”为“true”,生成的查询计划会有两个MapReduce Job,第一个Job的Map输出结果会随机的分布到Reduce中,每个Reduce做聚合操作,并输出结果,这样的处理会使相同的Group
Group By数据倾斜 Group By也同样存在数据倾斜的问题,设置hive.groupby.skewindata为true,生成的查询计划会有两个MapReduce Job,第一个Job的Map输出结果会随机的分布到Reduce中,每个Reduce做聚合操作,并输出结果,这样的处理会使相同的Group
该样例代码只存在于mrs-sample-project-1.6.0.zip中 // 参数解析: //<groupId> 消费者的group.id. //<brokers> broker的IP和端口. //<topic> kafka的topic. public
是,处理完毕。 否,执行4。 收集故障信息。 以root用户登录主管理节点,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 查看不健康服务的日志信息。 HDFS的日志文件存储路径为“/var/l
在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看“告警ID”为“50211”的“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 服务 > Doris > 实例”,单击告警上报的FE,进入实例“图表”页面。 左侧图表分类选择“JVM”,查看FE进
息条数, 每秒流入消息字节数, 每秒流出消息字节数,每秒失败的请求数,每秒总的请求数和每秒生产的请求数。 在页面右上角,用户可以输入主机IP地址或者机架配置信息搜索查看该Broker信息。 父主题: 管理Kafka Topic
登录FusionInsight Manager,选择“运维 > 告警 > 告警”,选中“告警ID”为“50227”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 服务 > Doris > 实例”,选择上报告警的FE实例,单击“图表”,在“图表分类”中选择“租户资源”,查看“租户
在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45335”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > 服务 > Presto >
在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45336”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Presto > 实例”,
> 告警 > 告警”,等待约10分钟后,在告警列表中查看该告警是否自动清除。 是,处理完毕。 否,查看该告警详细信息,记录上报告警的主机IP地址。执行2。 以root用户登录产生告警的主机,执行su - omm,切换到omm用户。 执行如下命令查看进程状态。 ps ww -eo stat
在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45327”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Presto > 实例”,
在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45328”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Presto > 实例”,