检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Encoders.STRING()).groupBy("value").count(); //开始运行将运行计数打印到控制台的查询。 StreamingQuery query = wordCounts.writeStream() .outputMode("complete")
务目标的数据模型。 基于预设的数据模型,使用易用的SQL数据分析,用户可以选择Hive(数据仓库),SparkSQL以及Presto交互式查询引擎。 数据呈现调度 用于数据分析结果的呈现,并与数据治理中心DataArts Studio集成,提供一站式的大数据协同开发平台,帮助用户
REFRESH TABLE 命令功能 REFRESH TABLE命令用于将已有的Carbon表数据注册到Hive元数据库中。 命令语法 REFRESH TABLE db_name.table_name; 参数描述 表1 REFRESH TABLE参数描述 参数 描述 db_name
在Spark应用程序运行节点,执行如下命令使用Spark Launcher方式提交。之后,可通过Spark WebUI查看运行情况,或通过获取指定文件查看运行结果。 java -cp $SPARK_HOME/conf:$SPARK_HOME/jars/*:SparkLauncherExample
properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config “job.properties”文件所在路径 -run 表示启动流程 例如: oozie job -oozie
MY_TABLE; UPSERT VALUES 插入/修改数据。 UPSERT INTO MY_TABLE VALUES(1,'abc'); SELECT 查询数据。 SELECT * FROM MY_TABLE; CREATE INDEX 创建全局索引。 CREATE INDEX MY_IDX ON
rand() % 365, 'abc'), (2, rand() % 365, 'bcd'), (1, rand() % 365, 'def'); 查询test_upsert表数据 select * from upsert_tab; ┌─id─┬───pdate─┬─name─┐ │ 2
续扩容”,确认扩容的磁盘容量信息无误后,单击“提交订单”。 以root用户登录到ClickHouse的扩容节点上,执行命令:df -hl,查看当前已有的数据目录和磁盘分区信息。 ClickHouse默认数据目录格式为:“/srv/BigData/dataN”。如上图举例所示,当前
密码。 执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 检查本告警是否恢复。 是,处理完毕。 否,执行4。 查看NameNode JVM内存使用情况和当前配置。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务
DD语义下的DAG,最后将DAG作为Spark的任务提交到Spark集群上进行计算,并合理利用Spark分布式内存计算能力,提高了Hive查询效率。 父主题: Hive
Python3样例工程章节,获取样例代码,获取hetu-jdbc-XXX.jar文件,并复制到自定义目录中。 参考通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务章节,获取“user.keytab”和“krb5.conf”文件,并放置到自定义目录中。 编辑样例代码,根
增大计算实例中单个Worker的内存大小 增大单个计算实例配置中的“Worker容器资源配置”的“容器内存(MB)”和“JVM”的“-Xmx”的值。 控制单个查询在单个Worker的内存使用大小 在“自定义配置”中单击“增加”,添加2个同名参数“query.max-memory-per-node”,
和WebHCat进程状态显示为故障,重启之后仍为故障状态。 原因分析 在Manager界面单独启动故障的HiveServer进程,登录后台查找hiveserver.out日志中对应时间点的报错,报错信息为:error parsing conf mapred-site.xml和Premature
付按需资源在宽限期内产生的费用,相关费用可登录管理控制台,选择页面上方的“费用 > 费用账单”,进入费用中心,单击“总览”,在“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款,那么就会进入保留期,资源状态变为“冻结”,您将无法对处于保留期的按需计费资源执行任何操作。
以omm用户登录主OMS节点,执行以下命令重启knox进程。 sh /opt/knox/bin/restart-knox.sh 等待五分钟,查看该告警是否恢复。 是,处理完毕。 否,执行5。 请联系运维人员,进行处理。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息
处理步骤 修改用户密码。 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”,在告警列表中展开此告警的详细信息,查看并记录附加信息中已经过期的用户名称。 修改已经过期的用户密码。 如果对接了DataArts Studio服务,请检查DataArts Studio作业是否使用过期的用户密码,
置保留多少天以内的归档文件,默认值30(天)。 注意事项 归档文件,没有备份,删除之后无法恢复。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
SparkRExample 安装SparkR R SparkOnHudiJavaExample 使用Spark执行Hudi基本操作 Java SparkOnHudiPythonExample 使用Spark执行Hudi基本操作 Python SparkOnHudiScalaExample 使用Spark执行Hudi基本操作
conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目
UidManager, args: assign metrics sys.cpu.user metrics sys.cpu.user: [0, 0, 6] 查询OpenTSDB指标 tsdb命令可以获取到当前opentsdb存入的指标,可执行tsdb uid metrics sys.cpu.user命令。