检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf（二选一），krb5.conf（必须）放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JDBCServer，所以更适合在多主实例、静态分配模式下使用。 父主题： Spark运维管理
如果集群启用了安全服务，按登录方式分为以下两种： keytab方式：需要从管理员处获取一个“人机”用户，用于登录FusionInsight Manager平台并通过认证，并且获取到该用户的keytab文件。 票据方式：从管理员处获取一个“人机”用户，用于后续的安全登录，开启Kerberos服务的
onf”，该目录需要与2上传的“MRTest-XXX.jar”包所在目录相同）。 已参考规划MapReduce访问多组件样例程序数据准备好待处理的数据。 运行程序 进入样例工程本地根目录，在Windows命令提示符窗口中执行下面命令进行打包。 mvn -s "{maven_setting_path}"
生成的字段名。 操作：配置操作符。 比较值：配置比较值，可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立，更新字段的值；如果不成立，则不更新。 当更新字段为数值类型时，更新值需要为数值。 当更新字段为字符串类型时，更新操作不能为“-”。
生成的字段名。 操作：配置操作符。 比较值：配置比较值，可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立，更新字段的值；如果不成立，则不更新。 当更新字段为数值类型时，更新值需要为数值。 当更新字段为字符串类型时，更新操作不能为“-”。
如果某个DataNode日志中打印“Too many open files”，说明该节点文件句柄不足，导致打开文件句柄失败，然后就会重试往其他DataNode节点写数据，最终表现为写文件很慢或者写文件失败。 解决办法 执行ulimit -a命令查看有问题节点文件句柄数最多设置是多少，如果很小，建议修改成640000。
所有参与分区间并发写入的任务，都必须配置上述参数。 不建议同分区内并发写，这种并发写入需要开启Hudi OCC方式并发写入，必须严格遵守并发参数配置，否则会出现表数据损坏的问题。 并发OCC参数控制： SQL方式： --开启OCC。 set hoodie.write.concurrency.mode=o
--执行clean操作清理冗余版本。 run archivelog on $tablename; --执行archivelog合并清理元数据文件。 关于清理、归档参数的值不宜设置过大，会影响Hudi表的性能，通常建议： hoodie.cleaner.commits.retained
在弹出的对话框中选择“NameNode RPC队列平均时间”，单击“确定”。 图2 主NameNode RPC队列平均时间 单击，进入监控详细信息界面。 设置监控显示的时间段，从告警产生的时间的前5天开始，到告警产生时刻结束。单击“确定”按钮。 在“NameNode RPC队列平
0及以后版本。 FlinkSQL的UDF新增重用功能，当UDF被多次执行时，第N（N>1）次执行只复制第1次结果，可以确保UDF多次执行的数据一致性，同时确保UDF只被执行一次，提高算子性能。 配置Flink作业时，可通过在FlinkServer WebUI的Flink作业开发界面添加自定义参数“table
如上操作后可以用sparksql访问hive MetaStore，如需访问hive表数据，需要按照•同时访问两个集群的HDFS：的操作步骤配置且指定对端集群nameservice为LOCATION后才能访问表数据。 访问对端集群的HBase： 先将cluster2集群的所有Zookeep
conf（二选一），krb5.conf（必须）放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JDBCServer，所以更适合在多主实例、静态分配模式下使用。 父主题： Spark运维管理
default库新建表。请充分考虑实际应用场景，再决定是否做出调整。 因为对执行用户做了限制，使用非管理员用户执行建库、表脚本迁移、重建元数据操作时需要特别注意，防止错误。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理
在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 父主题： 在Linux环境中调测Spark应用
提交Flink任务时launcher-job被Yarn终止如何处理？ 提交Flink作业时报错slot request timeout如何处理？ DistCP作业导入导出数据常见问题 如何通过Yarn WebUI查看Hive作业对应的SQL语句？ 如何查看指定Yarn任务的日志？ 添加Hive服务后，提交hiv
不涉及 取值范围： 不涉及 默认取值： 不涉及 input String 参数解释： 数据输入地址。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 output String 参数解释： 数据输出地址。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 job_log
制各组件服务端连接的MetaStore实例，支持在MetaStore中统一分配。 此功能仅限制各组件服务端访问的MetaStore实例，元数据未隔离。 暂不支持Flink，Flink任务均使用客户端配置，仍可连接所有MetaStore实例，不支持统一配置。 使用spark-sql
近似值聚合函数 在实际情况下，对大量数据进行统计时，有时只关心一个近似值，而非具体值，比如统计某产品的销量，这种时候，近似值聚合函数就很有用，它使用较少的内存和CPU资源，以便可以获取数据结果而不会出现任何问题，例如溢出到磁盘或CPU峰值。这对于数十亿行数据运算的需求很有用。 approx_median(x)
默认取值： 不涉及 cluster_id 是 String 参数解释： 集群ID。如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。 约束限制： 不涉及 取值范围： 只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Impalad不能执行sql或执行sql超时，会影响到数据的读写。 可能原因 该Impalad服务维护的查询数量过多。 处理步骤 登录FusionInsight Manager，然后选择“集群 >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
