检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于字符串类型的字段做复杂计算,建议先编码成整数类型,以提升计算性能。 【字符编码前,32字节的String类型字段did】 CREATE TABLE default.Test_String ON Cluster default_cluster ( `EventDate` DateTime, `did`
调测Kafka Producer样例程序 前提条件 如需在Windows调测程序,需要配置Windows通过EIP访问集群Kafka,详情请参见配置Windows通过EIP访问普通模式集群Kafka。 如需在Linux调测程序,需要确保当前用户对“src/main/resourc
Spark Core样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Spark应用程序实现如下功能: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
Catalog名称:hive(固定名称,不可自定义) 选择位置:单击“”选择Catalog对应的OBS存储路径,例如选择“obs://lakeformation-test/hive”(需提前创建),单击“确定”。 其他参数根据实际需要进行配置。 在左侧导航栏选择“元数据 > 数据库”,单击“创建数据库”,
调测Kafka Producer样例程序 前提条件 已配置Windows通过EIP访问集群Kafka,详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序,需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件
Python3访问Hive样例程序 功能介绍 本章节介绍如何使用Python3连接Hive执行数据分析任务。 样例代码 以下分析任务示例在“hive-examples/python3-examples/pyCLI_nosec.py”文件中。 导入hive类 from pyhive
insert、update、delete dbName Alias 数据库名称。 test Schema 待连接的数据库的Schema名称。 public Slot Name PgSQL逻辑复制槽的名称。 不同任务之间槽名不能重名,支持小写字母和下划线。 test_solt Enable FailOver Slot
开发Presto应用 Presto样例程序开发思路 Presto JDBC使用样例 父主题: Presto开发指南
在本地Windows环境中调测MapReduce应用 操作场景 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 在IntelliJ IDEA中查看应用程序运行情况。
--+------+------+------+ 执行以下命令创建数据库,并切换至该数据库: create database test; use test; 执行以下命令创建t1、t2和t3表: create table if not exists t1(id int) engine=olap
关的作业功能。例如:MRS管控面作业管理中的功能,无法在作业管理中进行提交、终止、查看作业等操作;无法成功调用MRS API V2作业管理接口。 可能原因 JobGateway服务所在节点故障。 处理步骤 登录FusionInsight Manager首页,选择“集群 > 服务 >
tables 表名配置database.table:int,表名支持通配符*,int代表预热多长时间内有更新的表,单位为天。 default.test*:10 spark.prequery.maxThreads 预热时并发的最大线程数 50 spark.prequery.sslEnable
重启实例”,根据界面提示重启FlinkServer实例。 为指定用户配置Hive行级别数据过滤,详情可参考Hive行级别数据过滤。 如为test用户在“default”库中的“datagen”表添加“a<>1”过滤条件。 使用权限配置完成的用户通过FlinkServer提交Fli
= false; 校验SQL脚本 当使用“-f”参数指定SQL脚本时,可添加“-v”参数进入校验模式。 sql-client.sh -f test.sql -v 使用FlinkSQL Client提交作业 安装集群客户端,例如安装目录为“/opt/hadoopclient”。 以客户端安装用户,登录安装客户端的节点。
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
基于Python3的Hive样例程序 功能介绍 本章节介绍如何使用Python3连接Hive执行数据分析任务。 样例代码 以下分析任务示例在“hive-examples/python3-examples/pyCLI_nosec.py”文件中。 导入hive类 from pyhive
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
调测Hive Python3样例程序 Python3样例工程的命令行形式运行 赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令: chmod +x python3-examples -R。 在python3-examples/pyCLI_sec
告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 不涉及。 父主题: MRS集群告警处理参考