检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调测Presto应用 JDBC客户端运行及结果查看 执行mvn clean compile assembly:single生成jar包,在工程目录target目录下获取,比如:presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar。
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题,或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权
解决hive偶现报kryo反序列化失败问题 解决Spark jobhistory内存泄漏问题 解决Spark jobhistory偶现无法显示application列表问题 MRS 1.9.0.3 修复问题列表: MRS Manager MRS Manager升级ARM JDK MRS
参数名称 示例 Link pgsqllink Tasks Max 1 Mode insert、update、delete Schema public dbName Alias cdc Slot Name test_solt Slot Drop 否 Connect With Hudi
Kafka,Guardian,Oozie 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及 耗时约5分钟 滚动重启 滚动重启不影响业务 滚动重启10个节点耗时约20分钟 DBService 直接重启
HetuEngine,CDL和IoTDB服务 表2 重启策略以及影响 组件 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启10个节点耗时约20分钟。 DBService
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。 为避免出现如上情况,添加表1中的配
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。 为避免出现如上情况,添加表1中的配
运行Spark任务时需要的环境变量,如果当前无可用的ENV,则需先参考管理CDL ENV变量进行创建。 dc_env Desc 描述信息 - 在“创建Compare-Pair”界面参照下表进行参数设置,并单击“创建”。 参数名称 说明 示例 Name 当前比对任务名。 test Source Table 源端表名。
单个container允许的最大资源,该资源以vcores和内存等形式存在。 default_resource_select String 缺省资源选择表达式。它被使用在当应用没有被指定一个提交区间值时。 user_acl array 队列中被给予user权限的使用者。 admin_acl array 该队列中被给予admin权限的使用者。
服务 > Yarn”,在“概览”页面单击ResourceManager WebUI后的链接,进入到Yarn的WebUI界面。 在“All Applications”页面单击ID名称,进入应用详情页面。 单击应用的“Logs”,进入“Logs”页面,单击stdout全量日志,即可查看SQL防御详情,如下图所示:
HetuEngine计算实例 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启10个节点耗时约20分钟。 DBService
表中插入多行数据 insert into fruit values('banana',10),('peach',6),('lemon',12),('apple',7); --将fruit表中的数据行加载到fruit_copy 表中,执行后表中有5条记录 insert into fruit_copy
PRECEDING”,与“UNBOUNDEEN PREBODING AND CURRENT ROWGE”相同。该帧包含从分区的开始到当前行的最后一个对等方的所有行。在没有ORDER BY的情况下,所有行都被视为对等行,因此未绑定的前导和当前行之间的范围等于未绑定的前导和未绑定的后续之间的范围。 例如:下面的
配置ResourceManager重启后自动加载Container信息 配置场景 YARN Restart特性包含两部分内容:ResourceManager Restart和NodeManager Restart。 当启用ResourceManager Restart时,升主后的
调用,不会等待创建的表上线。 void deleteTable(final TableName tableName) 删除指定的表。 public void truncateTable(final TableName tableName, final boolean preserveSplits)
其中,com.huawei.bigdata.hbase.examples包可在获取MRS应用开发样例工程中下载的MRS对应版本的样例工程中获取。 public void testPut() { LOG.info("Entering testPut."); // Specify
调用,不会等待创建的表上线。 void deleteTable(final TableName tableName) 删除指定的表。 public void truncateTable(final TableName tableName, final boolean preserveSplits)
HetuEngine,CDL和IoTDB服务 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启10个节点耗时约20分钟。 DBService
Conditions”区域,单击“Select User”下选择框选择用户。 单击“Add Permissions”,勾选“Write”。 该用户具有put,delete,append,incr,bulkload等操作权限。 设置用户读取数据的权限 在“HBase Table”配置表名。 在“Allow Conditions”区域,单击“Select