检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果加载数据语句中有关键字LOCAL，表明从本地加载数据，除要求对相应表的UPDATE权限外，还要求该数据在当前连接的HiveServer节点上，加载用户对数据路径“PATH”具有读权限，且以omm用户能够访问该数据文件。 如果加载数据语句中有关键字OVERWRITE，表示加载的数据会覆盖表中原有的数据，否则加载的数据会追加到表中。
通过ThriftServer实例操作HBase表 功能简介 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，进行根据指定namespace获取tablename以及创建表、删除表的操作。 代码样例 方法调用 //
创建FlinkServer应用 通过应用来隔离不同的上层业务。 使用具有FlinkServer管理员权限的用户访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”，进入应用管理页面。 单击“创建应用”，在弹出的页面中填写应用信息，单击“确定”，完成应用创建。
riftServerJavaExample 通过JDBC访问Spark SQL的Java/Scala示例程序。 本示例中，用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。 sparknormal-examples/SparkThriftServerScalaExample
调整DataNode磁盘坏卷信息 配置场景 在开源版本中，如果为DataNode配置多个数据存放卷，默认情况下其中一个卷损坏，则DataNode将不再提供服务。用户可以通过修改配置项“dfs.datanode.failed.volumes.tolerated”的值，指定失败的个数，小于该个数，DataNode可以继续提供服务。
磁盘容量不足导致Spark、Hive和Yarn服务不可用 用户问题 磁盘容量不足产生致命告警，Spark、Hive和Yarn服务不可用。 问题现象 用户创建的集群显示磁盘容量不足，产生致命告警，导致Spark、Hive和Yarn服务不可用。 原因分析 由于集群磁盘容量不足，会影响
规划HDFS容量 HDFS DataNode以Block的形式，保存用户的文件和目录，同时在NameNode中生成一个文件对象，对应DataNode中每个文件、目录和Block。 NameNode文件对象需要占用一定的内存，消耗内存大小随文件对象的生成而线性递增。DataNode
Source、Channel和Sink参数。“channels”、“type”等参数仅在客户端配置文件“properties.properties”中进行配置，配置文件路径为“Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf/properties
新建文件夹”，分别创建program、input文件夹，创建完成后如图1所示。 图1 wordcount01文件系统文件夹列表 program：存放用户程序 input：存放用户数据文件 进入program文件夹，选择“上传文件 > 添加文件”，从本地选择1中下载的程序包，然后单击“上传”，上传完成后如图2所示。
生产者通过此参数值，创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群运行，所使用的Kerberos用户名（需配置为kafka）。 key.serializer 消息Key值序列化类。 指定消息Key值序列化方式。 value.serializer
回答 Hive不支持复杂类型字段名称中包含特殊字符。 特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 用户在创建相关字段时，应避免使用相关特殊字符。 父主题： Hive常见问题
CLIENT ON *.* TO '数据库用户名' IDENTIFIED BY '数据库用户密码'; 执行以下命令刷新权限： FLUSH PRIVILEGES; PostgreSQL数据库需要修改预写日志的策略。 连接PostgreSQL数据库的用户需要具有replication权限和
新建文件夹”，分别创建program、input文件夹，创建完成后如图1所示。 图1 wordcount01文件系统文件夹列表 program：存放用户程序 input：存放用户数据文件 进入program文件夹，选择“上传文件 > 添加文件”，从本地选择1中下载的程序包，然后单击“上传”，上传完成后如图2所示。
通过ThriftServer实例读HBase表数据 功能简介 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用get和scan进行读数据操作。 代码样例 方法调用 // Get data with single
通过ThriftServer实例读HBase表数据 功能简介 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用get和scan进行读数据操作。 代码样例 方法调用 // Get data with single
FlinkSQL Hive表开发规则 提前在Hive中创建表 Flink作业在Hive中找不到对应表会报错，所以需要提前在Hive客户端创建好对应的表。 FlinkServer对接Hive使用对接MetaStore的方式，故需要Hive开启MetaStore功能。 查看Hive是否开启MetaStore功能：
一个分区从热分区变成冷分区，仅仅是在元数据中进行标识，其HDFS业务侧分区路径、数据文件内容并未发生变化。 本特性仅适用于MRS 3.1.2及之后版本。 冻结分区 支持创建表的用户按照条件过滤的方式对一个或多个分区进行冻结，格式为：freeze partitions 数据库名称.表名称 where 分区过滤条件 例如：
创建FlinkServer应用 操作场景 通过应用来隔离不同的上层业务。 创建应用 使用具有FlinkServer管理员权限的用户访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”，进入应用管理页面。 单击“创建应用”，
MRS集群反复上报43006告警 用户问题 集群反复出现“ALM-43006 JobHistory进程堆内存使用超出阈值”告警，且按照告警参考处理无效。 问题现象 集群出现告警“ALM-43006 JobHistory进程堆内存使用超出阈值”并且按照指导处理以后，运行一段时间又会出现同样的告警。
回答 Hive不支持复杂类型字段名称中包含特殊字符。 特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 用户在创建相关字段时，应避免使用相关特殊字符。 父主题： Hive常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
