检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
General > Existing Projects into Workspace > Next >Browse”。 显示“浏览文件夹”对话框。 选择样例工程文件夹,单击“Finish”。 父主题: 准备HBase应用开发环境
at which events are being started by the scheduler. 回答 停止应用,在Spark的配置文件“spark-defaults.conf”中将配置项“spark.event.listener.logEnable”配置为“true”。并把配置项“spark
准备MapReduce应用开发环境 准备MapReduce开发环境 准备连接MapReduce集群配置文件 导入并配置MapReduce样例工程 (可选)创建MapReduce样例工程 配置MapReduce应用安全认证 父主题: MapReduce开发指南(安全模式)
使用Hue WebUI操作Hive表 在Hue WebUI使用HiveQL编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 Hue常用配置参数
使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明 配置BulkloadTool工具支持解析自定义分隔符 父主题: HBase企业级能力增强
从6和7回显中获取分区的分布信息和节点信息,在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例,迁移到“/srv/BigData/hadoop/data1/kafka-logs”,完成迁移所需的json配置文件,内容如下。 {"partitions":[{"topic":
压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 日志归档规则: 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志
MRS集群Task节点弹性伸缩概述 在大数据应用,尤其是实时分析处理数据的场景中,常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群的Task节点进行弹性伸缩。如果数据量是按照周期进行有规律的变化,用户可以按照固定时间段来自动调
在Linux环境中调测Spark应用 在程序代码完成开发后,您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar,只需将样例工程复制到编译机器上即可。 用户需保证worker和drive
表的log文件中,也可以基于状态后端生成Hudi的changelog数据。 优点:可以基于湖存储实现更新数据聚合一致性保证。 缺点: Hudi的MOR表中仅在log文件中存在changelog数据,如果Flink作业计算延迟导致上游数据积压,而Hudi又清理了log文件,就会导致
用户名。 keytab认证:keytab文件包含了用户principal和用户凭据的加密信息。使用keytab文件认证时,系统自动使用加密的凭据信息进行认证无需输入用户密码。主要在组件应用开发场景中使用“机机”用户进行认证。keytab文件也支持在kinit命令中使用。 普通模式
is_dec_project 否 Boolean 参数解释: 说明是否为专属云的资源。 约束限制: 不涉及 取值范围: true:是专属云的资源。 false:不是专属云的资源。 默认取值: false cluster_version 是 String 参数解释: 集群版本。例如:MRS 3.1.0。
<arg> [-sr] -tb <arg> --jars用于指定“protobuf-java-2.5.0.jar”文件所在路径和HBase客户端配置文件所在路径。HBase客户端配置文件所在路径为“客户端安装目录/HBase/hbase/conf”。 支持在提交命令中指定executor数
配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 父主题: 使用Spark2x(MRS 3.x及之后版本)
指集群部分功能不可用的告警,包括进程故障、周期备份任务失败、关键文件权限异常等,需要根据告警及时检查报告告警的对象并恢复。 一般 指不影响当前集群主要功能的告警,包括证书文件即将过期、审计日志转储失败、License文件即将过期等告警。 提示 指级别最低的一种告警,起到信息展示或信
是否支持客户端跨网段访问 使用前提 HSFabric 是 是 是 确保业务侧和HetuServer服务端HSFabric所在业务节点网络互通 适用于双平面的网络场景 只需对外开放HSFabric固定的IP,端口 支持范围:MRS 3.1.3及之后版本 HSBroker 是 否 否 确保业务侧和HetuS
JDK需进行安全加固,具体操作如下。 到Oracle官方网站获取与JDK版本对应的JCE(Java Cryptography Extension)文件。JCE文件解压后包含“local_policy.jar”和“US_export_policy.jar”。拷贝jar包到如下路径。 Linux:
quire'(默认值)。 tls_cert_file:证书文件。 tls_key_file:证书密钥文件。 tls_ca_cert_file:CA证书文件。 tls_ca_cert_dir:CA证书所在的目录。 tls_cipher_suite:允许加密套件。 父主题: ClickHouse用户权限管理
表和视图的权限,不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多,在授权时可能需要等待一段时间。例如表的文件数量为1万时,可能需要等待2分钟。 表1 设置角色 任务场景 角色授权操作 设置Hive管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称
id}”日志文件并排除问题。 检查Yarn的任务日志,查看失败、失去响应的任务日志,并删除重复数据。 检查Storm的worker日志。 备份日志到存储服务器。 每周 用户管理 检查用户密码是否将要过期并通知修改。“机机用户”用户修改密码需要重新下载keytab文件。 分析告警 导出指定周期内产生的告警并分析。