检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字符截取的起点位置或终点位置，大于输入字段的长度时，当前行成为脏数据。 EL操作转换 传入数据为NULL值，不做转换处理。 输入一个或多个字段的值，输出计算结果。 输入类型和算子不兼容时，当前行为脏数据。 字符串大小写转换 传入数据为NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。
MRS集群租户资源最小值为0时只能同时运行一个任务吗？ 作业提交参数间用空格隔开导致参数信息不被识别如何处理？ Spark作业的Client模式和Cluster模式有什么区别？ 如何查看MRS作业的日志？ 提交作业时系统提示当前用户在Manager不存在如何处理？ LauncherJo
运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致，否则将报错："Python in worker has different version %s than
图2 设置Eclipse的编码格式 修改样例（未开启Kerberos认证集群可跳过此步骤）。 在5获取新建开发用户的krb5.conf和user.keytab文件后，修改ExampleMain.java中的userName为对应的新建用户，例如hiveuser。
图1 设置Eclipse的编码格式 修改样例（未开启Kerberos认证集群可跳过此步骤）。 在4获取新建开发用户的krb5.conf和user.keytab文件后，修改ExampleMain.java中的userName为对应的新建用户，例如impalauser。
运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致，否则将报错："Python in worker has different version %s than
部分磁盘故障，更换为新盘，因此新盘使用率低。 增加了磁盘个数，如原先4个数据盘，现扩容为5个数据盘。 原因分析 DataNode节点内写block磁盘时，有两种策略“轮询”和“优先写剩余磁盘空间多的磁盘”，默认是“轮询”。 参数说明：dfs.datanode.fsdataset.volume.choosing.policy
如遇到MetaException或者连接MetaStore失败，则需要查看MetaStore运行日志。 GC日志查看 HiveServer和MetaStore均有GC日志，当遇到GC问题可以查看GC日志以快速定位是否是GC导致。例如遇到HiveServer或MetaStore频繁重启就需要去看下对应的GC日志。
query, tsd, scan, search, uid, version 创建OpenTSDB指标 创建存入到OpenTSDB中的指标名称，可执行tsdb mkmetric sys.cpu.user命令创建sys.cpu.user。 Start run net.opentsdb
<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Kafka日志列表 日志类型 日志文件名 描述 运行日志 server.log Broker进程的server运行日志。
码后重新下载认证凭据并替换旧凭据。 修改admin用户密码 通过Manager页面修改admin用户密码： 开启Kerberos认证的集群和开启弹性公网IP功能未开启Kerberos认证的集群支持通过Manager界面修改admin密码。 使用admin账户登录Manager页面。
登录Manager创建一个拥有“Hive Admin Privilege”权限的角色，例如prestorole，创建角色请参考管理MRS集群角色。 创建一个属于“Presto”和“Hive”组的用户，同时为该用户绑定1中创建的角色，例如presto001，创建用户请参考创建MRS集群用户。 认证当前用户。 kinit
实例 > 任一MetaStore实例 > 图表”，在“图表分类”选择“操作统计”，查看“create_table API元数据操作耗时情况”和“add_partitions_req api执行情况”等监控，看SQL运行慢是否是因为MetaStore访问变慢。 父主题： Hive故障排除
该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL： -- 通过primaryKey指定主键，如果是复合主键需要用逗号分隔。 create table
给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转换这些数据流，在bolt中可以完成计
worker.config.properties “retry-policy”设置为“TASK”时可配置该参数，不配置默认为5GB。节点会根据可用内存和估计的内存使用情况分配任务。 用于初始任务分配节点时的内存需求估计。值越大表明每个TASK预估使用的内存更大，但会导致集群并发能力变小，可根据实际业务情况动态调整。
examples的HdfsExample类。 在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同，代码样例如下所示。 // 完成初始化和认证 confLoad(); authentication(); // 创建一个用例 HdfsExample hdfs_examples
功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式： 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。 外部表，如果数据要被多种工具
byte数组存储到HBase中，解析数据时，请将byte数组直接转换为对应类型，同时需要注意判断空值。 不建议将含有Strcuct、Map和Seq三种复杂类型的表数据直接同步到HBase表中，这些类型无法直接转换为byte数组，会先被转为String，再存储到HBase中，可能会导致无法还原数据。
级或迁移时，不丢失当前流应用的状态信息，便于任何时间点的任务暂停和恢复。 Flink SQL Table API和SQL借助了Apache Calcite来进行查询的解析，校验以及优化，可以与DataStream和DataSet API无缝集成，并支持用户自定义的标量函数，聚合函
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
