检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
enum 是 VARCHAR 数据处理规则 生成指定类型的随机值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“随机值转换”算子,生成C、D、E三个字段: 转换后,按顺序输入这五个字段: 可以发现,每次生成的随机值都不一样。 父主题: 转换算子
dbName: String) : util.List[LoadMetadataDetails]; 例子: CarbonSegmentUtil.identifySegmentsToBeMerged(sparkSession, "table_test","default") 传入数据库名
在服务列表中选择“大数据 > MapReduce服务”,进入“服务授权”页面。 图1 服务授权 单击“变更权限委托”,在右侧单击,启用委托或权限策略。 委托和策略选择完成后,单击“授权”,完成服务授权。
CookieProcessor使用LegacyCookieProcessor,避免cookie中的敏感数据泄漏。
cep进程持续重启,导致告警上报时间段监控数据采集异常,严重时可导致告警上报时间段监控数据丢失。 可能原因 cep进程异常。 处理步骤 检查cep进程是否异常。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。
fms进程持续重启,导致告警上报时间段告警数据上报异常,严重时可导致告警上报时间段告警数据上报和恢复失败。 可能原因 fms进程异常。 处理步骤 检查fms进程是否异常。
用户可以根据实际情况按照慢查询运行时长、查询id、用户、所属数据库进行查询。 用户可以通过“停止”操作手动停止正在进行查询的任务。 父主题: 使用Impala
job.record.batch.delete.count 25 JobServer每一批老化数据的条数。 job.record.expire.count 500000 JobServer老化数据的条数。
map 是 无 数据处理规则 生成指定类型的常量字段。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“增加常量字段”算子,增加两个字段C和D: 转换后,将A、B、C和D按顺序输出,结果如下: 父主题: 转换算子
1191) at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:346) 回答: 带有分区条件的查询,Hiveserver会对分区进行优化,避免全表扫描,需要查询元数据符合条件的所有分区
表1 参数说明 参数 描述 默认值 mapreduce.reduce.shuffle.max-host-failures MR任务在reduce过程中读取远端shuffle数据允许失败的次数。当设置次数大于5时,可以降低客户端应用的失败率。该参数适用于MRS 3.x版本。
Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时
Alluxio开发环境简介 根据场景开发工程 提供了Java语言的样例工程和数据查询的样例工程。 Alluxio样例程序开发思路 运行程序及查看结果 指导用户将开发好的程序编译提交运行并查看结果。 调测Alluxio应用 父主题: Alluxio应用开发概述
enum 是 VARCHAR 数据处理规则 生成指定类型的随机值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“随机值转换”算子,生成C、D、E三个字段: 转换后,按顺序输入这五个字段: 可以发现,每次生成的随机值都不一样。
Flume 直接重启 停止期间数据流中断,启动后恢复。 直接重启耗时约5分钟。 滚动重启 滚动重启时,重启节点数据流将停止,启动后恢复。 滚动重启10个节点耗时约30分钟。 Hue 直接重启 重启期间Hue页面无法访问。 直接重启耗时约5分钟。 滚动重启 不支持滚动重启。
1.6T数据,250个executor。 在默认参数下执行失败,出现Futures timed out和OOM错误。 因为数据量大,task数多,而wordcount每个task都比较小,完成速度快。
当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。。
当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。。
审计日志表的最大写入间隔默认为60秒,每批次最大写入数据量默认为50MB,可通过参数“max_batch_interval_sec”和“max_batch_size”进行调整。
presto_cli.sh 执行以下命令创建Schema,并指定Location为OBS路径,例如: CREATE SCHEMA hive.demo WITH (location = 'obs://mrs-word001/presto-demo002/'); 在该Schema中建表,该表的数据即会存储在