检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
于此同时可以在计算引擎上直接查询这个表里的数据。 在本开发程序示例中,为了不引入额外的计算引擎,将以Kudu为主,全部通过Java API接口来进行描述: 建立Kudu连接 创建Kudu表 写Kudu数据 修改Kudu表 删除Kudu表 父主题: 开发Kudu应用
不存在的分区。 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.sql.hive.verifyPartitionPath 配置读取HIVE分区表时,是否过滤掉分区表分区路径不存在的分区。
分隔符分隔后生成新字段。 输入与输出 输入:需要分隔的字段 输出:分隔后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 被分隔的字段名,需填写上一个转换步骤生成的字段名。 string 是 无 分隔符 配置分隔符。 string 是 无 分割后的字段
开发环境的基本配置。版本要求:1.7或者1.8。 说明: 基于安全考虑,MRS 服务端只支持TLS 1.1和TLS 1.2加密协议,IBM JDK默认TLS只支持1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS1
不存在的分区。 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.sql.hive.verifyPartitionPath 配置读取Hive分区表时,是否过滤掉分区表分区路径不存在的分区。
转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
可能原因 高可用配置项未修改。 由于在Flink的配置文件中,“high-availability.zookeeper.client.acl”默认为“creator”,仅创建者有权限访问,新用户无法访问ZooKeeper上的目录导致yarn-session.sh执行失败。 解决办法
每块盘配置一个存储路径即可。 如果“be.conf”中只配置了SSD的介质,而FE中参数“default_storage_medium”默认为HDD,因此建表时会发现没有HDD介质的存储而报错。Doris并不会自动感知存储路径所在磁盘的实际存储介质类型,需要用户在路径配置中显式的表示。“
、视图以及其他数据库对象的容器。当指定可选参数IF NOT EXISTS时,如果系统已经存在同名的schema,将不会报错。 Schema默认路径为hdfs://hacluster/user/hive/warehouse/。 示例 创建一个名为web的schema: CREATE
不输入-details时只输出CLOSED状态的Region数量,输入-details时输出所有CLOSED状态的Region名称。 不指定TABLENAME时默认查看所有表。 命令执行后如果输出“Closed region due to split”,说明该Region是由于Split而转为CLOS
路径,多个路径间使用“,”隔开,然后单击“保存”。 单击“确定”。在概览页面选择“更多 > 重启服务”,重启服务。 父主题: HDFS运维管理
为二分之一或四分之一的值),但不要超过“yarn.scheduler.maximum-allocation-mb”参数值。 父主题: 集群管理类
进入HDFS服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
的作业。 答: admin用户为集群管理页面用户,检查是否有supergroup权限,通常需要使用具有supergroup权限的用户才可以查看作业。 使用提交作业的用户登录查看Yarn上的作业,不使用admin管理账号查看。 父主题: 作业管理类
mb”的值为“2048”。 使用sh /opt/executor/bin/restart-executor.sh重启executor进程。 父主题: 作业管理类
已创建的MRS集群支持修改Master节点。 目前系统支持2个及以上Master节点的集群升级Master节点规格 ,具体操作请参考升级Master节点规格。 父主题: 节点管理类
路径,多个路径间使用“,”隔开,然后单击“保存”。 单击“确定”。在概览页面选择“更多 > 重启服务”,重启服务。 父主题: HDFS运维管理
UI”列的“Coordinator”或“Worker”,将在Yarn WebUI展示Coordinator和Worker日志。 父主题: 管理HetuEngine计算实例
名。 查看作业健康步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“作业管理”进入作业管理页面。 查看作业健康度 在作业管理页面查看当前作业的健康状态: 空:作业未运行,无健康状态 绿色图标:健康 黄色图标:亚健康 红色图标:不健康 导出所有作业健康报告
khouse/systemTableDump/oneclickTable”目录,查看一键转储压缩日志。 父主题: ClickHouse运维管理