检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
兼容的浏览器，例如Google Chrome浏览器。 MapReduce：查看集群中正在执行和已经完成的MR任务，包括它们的状态、起始结束时间、运行日志等。 Oozie：提供了Oozie作业管理器功能，使用户可以通过界面图形化的方式使用Oozie。 ZooKeeper：提供了Zo
比较麻烦。 Spark Streaming性能优化建议 设置合理的批处理时间(batchDuration)。 设置合理的数据接收并行度。 设置多个Receiver接收数据。 设置合理的Receiver阻塞时间。 设置合理的数据处理并行度。 使用Kryo系列化。 内存调优。 设置持久化级别减少GC开销。
UI页面。 History Server页面，用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。 页面入口：请参考登录MRS Manager登录MRS Manager页面，选择“服务管理 > Spark”，单击“Spark
“HBase输入”算子，将HBase表的指定列转换成同等数量的输入字段。 输入与输出 输入：HBase表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型，可选项为normal（普通表）和phoenix表。 enum 是 normal HBase表名
“HBase输入”算子，将HBase表的指定列转换成同等数量的输入字段。 输入与输出 输入：HBase表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型，可选项为normal（普通表）和phoenix表。 enum 是 normal HBase表名
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.1.0.0.16 发布时间 2024-11-25 解决的问题 提交Spark SQL作业，中文冒号被转换成英文冒号。 Spark SQL外表动态分区执行insert overwrite报错。 Spark JDBC产生空指针报错。
he为true HBase客户端建表和scan时，设置blockcache=true。需要根据具体的应用需求来设定它的值，这取决于有些数据是否会被反复的查询到，如果存在较多的重复记录，将这个值设置为true可以提升效率，否则，建议关闭。 建议按默认配置，默认就是true，只要不强制设置成false就可以，例如：
ClickHouse基本原理 ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常
设置Container日志归集失败后日志在本地保留的时间。单位：秒。 设置为0时，本地日志将马上删除。 设置为正数时，表示本地日志将保留这段时间。 604800 yarn.nodemanager.log-aggregation.queue-user.enable 日志聚合路径是否包含Queue User。主要针对Hive作业，Queue
使用admin用户登录Manager界面，选择“集群 > 集群属性”，查看集群的“认证模式”并记录。 选择“集群 > 服务 > Hive”，单击页面右上角的“更多”查看Hive是否启用Ranger鉴权。 选择“系统 > 权限 > 用户”，单击“添加用户”，配置以下参数并单击“确定”，创建执行自定义函数的用户： 用户名：填写用户名称，例如：test。
Doris命名规范 该章节主要介绍创建Doris数据库或表时，数据库名或表名需遵循的规则和建议。 Doris命名规则 数据库字符集需指定UTF-8，并且只支持UTF-8。 Doris命名建议 数据库名称统一使用小写方式，中间使用下划线（_）分隔，长度为62字节以内。 Doris表
使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt，发现能连上Oracle数据库，但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm
入字段。 HTML输入：将HTML文件中的元素转换成输入字段。 Hive输入：将Hive表的指定列转换成同等数量的输入字段。 转换 长整型时间转换：实现长整型数值与日期类型的互换。 空值转换：将空值替换成指定值。 增加常量字段：生成常量字段。 随机值转换：生成随机数字段。 拼接转换：拼接已有字段，生成新字段。
SELECT语句的时间。 建议使用spark-sql或者在beeline/thriftserver模式下使用spark用户来执行INSERT...SELECT操作，避免执行更改文件owner的操作，从而减少执行INSERT...SELECT语句的时间。 在beeline/t
行读操作。 HDFS文件系统中目录结构如下表所示。 表1 HDFS文件系统目录结构（适用于MRS 3.x之前版本） 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spark/sparkhive-scratch 固定目录 存放Spark JDBCServer中metastore
finished.job.interval：执行清理任务的间隔时间，默认隔60s执行一次。 zk.cleanup.finished.job.outdated.threshold：节点的过期时间，每个批次的任务都会生成对应节点，从当前批次任务的结束时间开始算，如果超过60分钟，则表示已经过期了，那么就清除节点。
Scala和Java语言）。 为了丰富样例代码，Java版本使用了Processing Time作为数据流的时间戳，而Scala版本使用Event Time作为数据流的时间戳。具体执行命令参考如下： 将Checkpoint的快照信息保存到HDFS。 Java 1 bin/flink
submitted. 不能提交Spark相关作业！ 请检查是否存在Spark服务以及Spark服务是否正常 400 0093 Metadata of version xxx not found. 无法找到版本号为xxx的版本元数据信息。 请确认集群版本是否正确并使用正确的集群版本 400 0160
以上示例，加粗部分为TTL配置。该示例将example_table表中d时间列三年后的冷数据删除，d时间列一年后的冷数据转存到OBS。 TTL表达式只是一个简单的SQL表达式，里边包含了时间以及时间的间隔，例如： 数据存活的时间为date_time时间的3天之后。 TTL date_time + INTERVAL
表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String 否 default Spark表名 配置SparkSQL表名。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
