检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理员工具(动态更新信息)。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME
管理员工具(动态更新信息)。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME
connector支持该属性。 示例 收集表fruit的统计信息: ANALYZE fruit; 统计catalog hive、schema default下的表存储: ANALYZE hive.default.orders; 从hive分区表中统计分区'2020-07-17' , '2020-07-18'信息:
在“Select Resource Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区,配置如下:
ger策略,通过之前Hive权限插件的方式,给角色添加权限,然后把角色赋予对应用户。如果HDFS Ranger策略可以匹配到Hive库表的文件或目录权限,则优先使用HDFS Ranger策略。 如果在Hive中创建的表,需要在Impala执行invalidate metadata
AddDoublesUDF.jar),并上传到HDFS指定目录下(如“/user/hive_examples_jars/”)且创建函数的用户与使用函数的用户有该文件的可读权限。示例语句。 hdfs dfs -put AddDoublesUDF.jar /user/hive_examples_jars hdfs
jks path System.setProperty("iotdb_ssl_truststore", "truststore文件路径"); } Session session = new Session(LOCAL_HOST, 22260, "认证用户名"
将ApplicationMaster的内存配置调大,在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数: “yarn.app.mapreduce.am.resource.mb” “yarn.app.mapreduce.am.c
用户、主机、服务、实例或操作结果可修改排列方式。 支持在“安全级别”筛选相同级别的全部告警。结果包含已清除和未清除的告警。 导出的审计日志文件,包含以下信息列: “编号”:表示MRS Manager已生成的审计日志数量,每增加一条审计日志则编号自动加1。 “操作类型”:表示用户操
dow和SlidingProcessingTimeWindow在保存原始数据时存在的数据冗余问题,对保存原始数据的窗口进行重构,优化存储,使其存储空间大大降低,具体思路如下: 以滑动周期为单位,将窗口划分为若干相互不重合的pane。 每个窗口由一到多个pane组成,多个pane对
企业级可视化运维:运维管理界面化、作业监控、作业开发Flink SQL标准化等。 快速建立集群连接:通过集群连接功能配置访问一个集群,需要客户端配置、用户认证密钥文件。 快速建立数据连接:通过数据连接功能配置访问一个组件。创建“数据连接类型”为“HDFS”类型时需创建集群连接,其他数据连接类型的“认证类
r.java:617) at java.lang.Thread.run(Thread.java:745) 使用客户端hdfs命令查看,如下文件不存在。 hdfs://hacluster/kylin/kylin_metadata/coprocessor/kylin-coprocessor-1
、作业开发Flink SQL标准化等。 图1 可视化运维 快速建立集群连接:通过集群连接功能配置访问一个集群,需要客户端配置、用户认证密钥文件。 快速建立数据连接:通过数据连接功能配置访问一个组件。创建“数据连接类型”为“HDFS”类型时需创建集群连接,其他数据连接类型的“认证类
益上涨的业务数据压力。 缩容集群 用户可以根据业务需求量,通过简单的缩减Core节点或者Task节点,对集群进行缩容,以使MRS拥有更优的存储、计算能力,降低运维成本。用户执行MRS集群缩容后,MRS服务将根据节点已安装的服务类型自动选择可以缩容的节点。 Core节点在缩容的时候
{table_name}_rt,和${table_name}_ro。 实时视图读取(Hive,SparkSQL为例):直接读取Hive里面存储的后缀为_rt的hudi表即可。 select count(*) from ${table_name}_rt; 实时视图读取(Spark dataSource
${table_name}_rt和${table_name}_ro。 实时视图读取(Hive,SparkSQL为例):直接读取Hive里面存储的后缀为_rt的hudi表即可。 select count(*) from ${table_name}_rt; 实时视图读取(Spark dataSource
定schema关联的表或分区,它只会修改新添加进数据库的表的上级目录。 示例 Create schema foo; --修改schema 存储路径 ALTER SCHEMA foo SET LOCATION 'hdfs://hacluster/newlocation'; --修改schema
建议:编程时必须加以考虑的原则。 说明:对此规则或建议进行的解释。 示例:对此规则或建议从正、反两个方面给出。 适用范围 基于MRS-Hudi进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.3.0版本。 父主题: Hudi应用开发规范
否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查Manager是否有正在运行的任务
否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务