检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DistCP作业导入导出数据常见问题 如何通过Yarn WebUI查看Hive作业对应的SQL语句？ 如何查看指定Yarn任务的日志？ 添加Hive服务后，提交hivesql/hivescript作业失败如何处理？ Spark Job对应的运行日志保存在哪里？
此功能仅限制各组件服务端访问的MetaStore实例，元数据未隔离。 暂不支持Flink，Flink任务均使用客户端配置，仍可连接所有MetaStore实例，不支持统一配置。 使用spark-sql执行任务时客户端直接连接MetaStore，隔离后需要更新客户端才可生效。
在“Brokers Metrics”处可查看Broker节点数据流量的jmx指标，包括在不同时段的时间窗口内，Broker节点平均每秒流入消息条数， 每秒流入消息字节数， 每秒流出消息字节数，每秒失败的请求数，每秒总的请求数和每秒生产的请求数。
如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。 约束限制： 不涉及 取值范围： 只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。
对系统的影响 Impalad不能执行sql或执行sql超时，会影响到数据的读写。 可能原因 该Impalad服务维护的查询数量过多。
设置用户读取数据的权限 在“HBase Table”配置表名。 在“Allow Conditions”区域，单击“Select User”下选择框选择用户。 单击“Add Permissions”，勾选“Read”。 该用户具有get，scan操作权限。
如上操作后可以用sparksql访问hive MetaStore，如需访问hive表数据，需要按照•同时访问两个集群的HDFS：的操作步骤配置且指定对端集群nameservice为LOCATION后才能访问表数据。
设置用户读取数据的权限 在“HBase Table”配置表名。 在“Allow Conditions”区域，单击“Select User”下选择框选择用户。 单击“Add Permissions”，勾选“Read”。 该用户具有get，scan操作权限。
约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 data_volume_type String 参数解释： 数据盘类型。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 data_volume_size Integer 参数解释： 数据盘容量。
调优完成后，请重新进行编译和运行 请参考数据序列化至Spark CBO调优章节 父主题： Spark应用开发概述
如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。 约束限制： 不涉及 取值范围： 只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。 默认取值： 不涉及 project_id 是 String 参数解释： 项目编号。
可能原因 迁移的分区数据量过大，限流参数设置的太小。 处理步骤 登录KafkaUI页面。 使用具有KafkaUI页面访问权限的用户，登录FusionInsight Manager。 选择“集群 > 服务 > Kafka”。
-- 1024 SELECT parse_presto_data_size('1MB'); -- 1048576 SELECT parse_presto_data_size('2.3MB'); -- 2411724 其他 typeof(expr) → varchar 返回表达式的数据类型名称
对系统的影响 Kafka服务未完全同步的Partition数过多，会影响服务的可靠性，一旦发生leader切换，可能会导致丢数据。 可能原因 部分Broker实例所在节点故障或者实例停止运行，导致Kafka中某些Partition的副本下线。 处理步骤 检查Broker实例。
当用户需要运行向Kafka生产并消费数据程序（Scala和Java语言）样例程序时，需要加入“kafkaadmin”用户组。
Ranger界面不支持对用户、角色、用户组删除，防止出现数据不一致现象。 调整Ranger用户类型 登录Ranger管理页面。 调整Ranger用户类型须使用Admin类型的用户（例如admin）进行操作，具体用户类型请参考Ranger用户类型。
打开MultiComponentLocalRunner.java，确认代码中System.setProperty("HADOOP_USER_NAME", "root");设置了用户为root，请确保场景说明中上传的数据的用户为root，或者在代码中将root修改为上传数据的用户名。
当前只支持以下数据类型： boolean、byte、short、int、long、float、double Boolean、Byte、Short、Int、Long、Float、Double List、Map 目前暂不支持除以上类型外的更复杂数据类型的UDF、UDAF和UDTF。
public static PreparedStatement statement = null; private static void init() throws ClassNotFoundException { // 认证用的密码写入代码中或者明文存储都有很大的安全风险
如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。 约束限制： 不涉及 取值范围： 只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
