检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目
conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目
将被忽略。 如果未指定默认值,则新列的默认值将被视为null。 如果在该列上应用filter,则在排序期间不会考虑新增列,新增列可能会影响查询性能。 示例 ALTER TABLE carbon ADD COLUMNS (a1 INT, b1 STRING); ALTER TABLE
指定以当天时间命名的数据目录 参数项配置为“/user/data/inputdate_@{dateformat("yyyy-MM-dd")}@”。 通过SQL语句查询最近7天的数据 select * from table where time between '@{dateformat("yyyy-MM-dd
Encoders.STRING()).groupBy("value").count(); //开始运行将运行计数打印到控制台的查询。 StreamingQuery query = wordCounts.writeStream() .outputMode("complete")
指定以当天时间命名的数据目录 参数项配置为“/user/data/inputdate_@{dateformat("yyyy-MM-dd")}@”。 通过SQL语句查询最近7天的数据 select * from table where time between '@{dateformat("yyyy-MM-dd
HDFS路径,指定该路径Hudi表会创建为外表。 options_list Hudi table属性列表。 query_statement select查询表达式 示例 创建分区表 create table h2 using hudi options (type = 'cow', primaryKey
500000块数,用户可根据需要调整内存值。 查看HDFS容量状态 NameNode信息 登录FusionInsight Manager,选择“集群 > 服务 > HDFS > NameNode(主)”,单击“Overview”,查看“Summary”显示的当前HDFS文件对象、
conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目
Workflow”),可以直接单击该名称进行修改,例如“Shell-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 配置Shell命令为Linux指令时,请指定为原始指令,不要使用快捷键指令。例如:ls -l ,不
-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" ),如果频繁出现Full GC,需要优化GC。把RDD做Cache操作,通过日志查看RDD在内存中的大小,如果数据太大,需要改变RDD的存储级别来优化。 操作步骤 优化GC,调整老年代和新生代的大小和比例。在客户端的conf/spark-defaults
等全流程的样例工程。 开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果 程序运行结果会根据结果解析部分的实现显示到期望显示的地方。 父主题: HetuEngine开发指南(安全模式)
WebUI界面。 选择“驱动管理 > 上传驱动”,在弹出的窗口选择本地已准备的数据库驱动文件,单击“打开”,等待驱动上传完成。 在“驱动管理”界面,查看驱动文件名列表是否显示正常。 如果驱动不再使用,或者上传错误,可单击“删除”,删除对应驱动文件。 驱动文件列表较多时,可通过搜索框快速检索。
在Doris服务重启期间服务不可用,不能对外提供服务,且其他连接Doris运行的任务也会失败。 在Manager界面选择“运维 > 告警 > 告警”在告警列表中查看“Doris服务不可用”告警是否已清除。 是,操作结束。 否,执行4。 收集故障信息。 在FusionInsight Manager界面,选择“运维
对应的Hive服务故障。 处理步骤 检查Spark依赖的服务是否有服务不可用告警。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否存在以下告警: ALM-25500 KrbServer服务不可用 ALM-25000 LdapServer服务不可用 ALM-13000
对应的Hive服务故障。 处理步骤 检查Spark依赖的服务是否有服务不可用告警。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否存在以下告警: ALM-25500 KrbServer服务不可用 ALM-25000 LdapServer服务不可用 ALM-13000
Workflow”),可以直接单击该名称进行修改,例如“Shell-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 配置Shell命令为Linux指令时,请指定为原始指令,不要使用快捷键指令。例如:ls -l ,不
选择“NONE”表示不压缩数据。 NONE 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出
在Spark应用程序运行节点,执行如下命令使用Spark Launcher方式提交。之后,可通过Spark WebUI查看运行情况,或通过获取指定文件查看运行结果。 java -cp $SPARK_HOME/conf:$SPARK_HOME/jars/*:SparkLauncherExample
x及之前版本集群):在Manager页面单击“租户管理”。 在左侧租户列表,单击目标的租户。 单击“资源”页签,可以执行以下操作管理租户目录。 查看租户目录: 在“HDFS 存储”表格中查看相关信息。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。(MRS管理控制台为“文件/目录数上限”) 指定