检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t恢复失败的问题。 解决Flink SQL作业分号前带注释时,作业提交失败的问题。 解决FlinkServer界面设置作业重启策略,重启策略失败重试间隔时间单位设置为s,实际是ms的问题。 解决Flink写Hudi表同步Hive在非安全环境hms模式下报错,连接HiveMetaStore失败的问题。
executor.memory=2G --driver-memory 设置driver的运行内存。 2G --num-executors 设置executor启动数量。 5 --executor-cores 设置executor核数。 2 --jars 上传任务额外依赖包,用于给任务添加任务的外部依赖包。
集中呈现和管理系统中各组件零散的权限功能,并且将各个组件的权限以权限集合(即角色)的形式组织,形成统一的系统权限概念。这样一方面对普通用户屏蔽了内部的权限管理细节,另一方面对MRS集群管理员简化了权限管理的操作方法,提升了权限管理的易用性和用户体验。 Manager关键特性:单点登录
Hudi表模型设计规范 规则 Hudi表必须设置合理的主键。 Hudi表提供了数据更新和幂等写入能力,该能力要求Hudi表必须设置主键,主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键,两种主键类型均要求主键不能有null值和空值,可以参考以下示例设置主键: SparkSQL: --
务不可用”告警。 优化节点间互信失效告警,自动恢复功能。 重启Agent进程,如果这个Agent节点安装有服务健康检查配置的关键实例,将会误报服务不可用告警。 运维通道功能校验签名失败后任务阻塞。 节点内存打满,MRS集群磁盘出现踢盘,盘分区丢失。 租户资源修改用户策略功能无法使用。
com/templeton/v1/jobs 参数 参数 描述 fields 如果设置成*,那么会返回每个job的详细信息。如果没设置,只返回任务ID。现在只能设置成*,如设置成其他值,将出现异常。 jobid 如果设置了jobid,那么只有字典顺序比jobid大的job才会返回。比如,如果
用户A如何查看用户B创建的Hive表? MRS 3.x之前版本: 登录MRS Manager,选择“系统设置 > 权限配置 > 角色管理”。 单击“添加角色”,输入“角色名称”和“描述”。 在“权限”的表格中选择“Hive > Hive Read Write Privileges”。
HBase单表查询范围扫描优化 HBase单表查询范围扫描优化是指根据HBase的列的谓词条件尝试自动推断rowkey的起止地址,在tableScan的时候设置hbase scan起止地址从而提高访问性能。 比如假设HBase数据表的rowkey由building_code:house_code:
服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。 设置为true,表示日志会被收集到HDFS目录中。默认目录为“{yarn.nodemanager.remote-ap
/tmp/tquota2 使用如下命令可以查看目录设置的配额情况,SPACE_QUOTA是设置的空间配额,REM_SPACE_QUOTA是当前剩余的空间配额。 hdfs dfs -count -q -h -v /tmp/tquota2 图1 查看目录设置的配额 日志分析,如下日志说明写入文件
> 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时,不能同时选择跨资源权限,如果需要设置多个资源的相关权限,请依次逐一设置。 Loader权限: “管理员”:Loader管理员权限。 “作业连接器”:Loader的连接权限。
增量查询之前必须指定当前表的查询为增量查询模式,并且查询后重写设置表的查询模式 如果增量查询完,不重新将表查询模式设置回去,将影响后续的实时查询 示例 set hoodie.tableName.consume.mode=INCREMENTAL;--必须设置当前表读取为增量读取模式。 set hoodie
cardNo; HetuEngine跨域功能简介 HetuEngine提供统一标准SQL对分布于多个地域(或数据中心)的多种数据源实现高效访问,屏蔽数据在结构、存储及地域上的差异,实现数据与应用的解耦。 图2 HetuEngine跨域功能示意 跨域关键技术和优势 无单点瓶颈:HSFab
SESSION name = expression; SET SESSION catalog.name = expression; 描述 用于设置当前会话的指定属性。 示例 SET SESSION optimize_hash_generation = true; SET SESSION
务数量,并把挂起状态的任务数量和阈值进行比较。当检测到挂起状态的任务数超过阈值时产生该告警。 用户可通过在MRS Manager中的“系统设置 > 阈值配置 > 服务 > Yarn > 队列root正在挂起的任务 > 队列root正在挂起的任务”修改阈值。 当挂起状态任务数小于或等于阈值时,告警清除。
本章节主要介绍如何配置ClickHouse保证副本间数据强一致。 参数配置 配置ClickHouse副本间数据强一致优先级别:单条语句设置 > 会话级别设置 > 全局默认设置。 副本间强一致必须要结合原子性一起使用,否则在插入过程中出现异常,无法回退成功。 登录FusionInsight Manager页面,选择“集群
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值,如何在Spark命令中指定参数值? 回答 Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。 在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。在--conf后添加参数名称及其参数值,例如:
COMMENT 语法 COMMENT ON TABLE name IS 'comments' 描述 设置表的注释信息,可以通过设置注释信息为NULL来删除注释。 示例 修改表users的注释为“master table”,表的注释语句可以通过show create table tablename语句查看:
如何关闭MRS集群内节点的防火墙服务? 问: 如何关闭MRS集群内节点的防火墙服务? 答: 以root用户登录集群的各个节点。 检查防火墙服务是否启动。 例如,EulerOS环境下执行systemctl status firewalld.service命令。 关闭防火墙服务。 例如,EulerOS环境下执行systemctl
的列后角色将拥有该列的权限。列权限设置完成。 否,修改已有HBase角色的列权限,表格将显示已单独设置权限的列,执行5。 角色新增列权限,在“资源名称”的输入框输入列名称并设置列的权限。角色修改列权限,可以在“资源名称”的输入框输入列名称并设置列权限,也可以在表格中直接修改列的权