检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群租户资源最小值为0时只能同时运行一个任务吗? 问: MRS集群的租户资源最小值设置为0后,只能同时运行一个Spark任务吗? 答: 租户资源最小值改为0后,只能同时运行一个Spark任务。 父主题: 作业管理类
oenix表。 enum 是 normal NULL值处理方式 配置NULL值处理方式。选中单选框时是将转换为空字符串并保存。不选中单选框时是不保存数据。 boolean 否 不选中单选框 HBase输出字段 配置HBase输出信息: 字段名:配置输出字段的字段名。 表名:配置HBase表名。
oenix表。 enum 是 normal NULL值处理方式 配置NULL值处理方式。选中单选框时是将转换为空字符串并保存。不选中单选框时是不保存数据。 boolean 否 不选中单选框 HBase输出字段 配置HBase输出信息: 字段名:配置输出字段的字段名。 表名:配置HBase表名。
选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“节点管理”。 展开节点组信息,勾选待隔离主机前的复选框。 选择“节点操作 > 隔离主机”。 图1 隔离主机 确认待隔离主机信息并单击“确定”。 界面提示“操作成功。”,单击“完成”,主机成功隔离,“操作状态”显示为“已隔离”。
定运行。 执行集群节点健康检查(3.x及之后版本) 登录FusionInsight Manager。 单击“主机”。 勾选待操作主机前的复选框。 在“更多”选择“健康检查”启动任务。 健康检查的结果可直接在检查列表左上角单击“导出报告”,选择导出结果。如果发现问题,可以单击“查看帮助”。
展开节点组信息,勾选待操作节点前的复选框。 选择“节点操作 > 启动所有角色”或“停止所有角色”执行相应操作。 通过Manager启停节点角色 登录MRS集群Manager界面。 单击“主机”,进入主机列表界面。 MRS 2.x及之前版本集群,请单击“主机管理”。 勾选待操作主机前的复选框。 在“更多
件。 清空搜索框的内容,系统会重新显示所有目录和文件。 执行动作 在“文件浏览器”界面,勾选一个或多个目录或文件。 单击“操作”,在弹出菜单选择一个操作。 重命名:表示重新命名一个目录或文件。 移动:表示移动文件,在“移至”页面选择新的目录并单击“移动”完成移动。 复制:表示复制选中的文件或目录。
信息页面。 在集群详情页,单击“组件管理”。 图1 组件管理 单击服务列表中指定的服务名称。 单击“实例”页签。 勾选待操作角色实例前的复选框。 选择“更多 > 启动实例”、“停止实例”、“重启实例”或“滚动重启实例”等,执行相应操作。 实例是否支持滚动重启、滚动重启参数说明请参见组件重启参考信息。
录或文件。 清空搜索框的内容,系统会重新显示所有目录和文件。 执行动作 单击,选择一个或多个目录或文件。 单击“Actions”,在弹出菜单选择一个操作。 “Rename”:表示重新命名一个目录或文件。 “Move”:表示移动文件,在“移至”选择新的目录并单击“移动”完成移动。
进行退服操作; MRS 3.1.2版本之后支持退服ClickHouseServer角色实例。 选择“主机”并勾选故障主机“主机名称”前的复选框,选择“更多 > 停止所有实例”。 执行vim /etc/fstab命令编辑注释旧磁盘的挂载点。 图1 注释旧磁盘的挂载点 如果旧磁盘仍可
再通过转换算子,对这些字段做清洗或转换,最后通过输出算子将处理后的字段,输出到目标端。 每个作业,如果进行数据转换操作,有且只能有一个输入算子,有且只能有一个输出算子。 不符合转换规则的数据,将成为脏数据跳过。 从关系型数据库导入数据到HDFS/OBS,可以不用配置数据转换,数据将按“
再通过转换算子,对这些字段做清洗或转换,最后通过输出算子将处理后的字段,输出到目标端。 每个作业,如果进行数据转换操作,有且只能有一个输入算子,有且只能有一个输出算子。 不符合转换规则的数据,将成为脏数据跳过。 从关系型数据库导入数据到HDFS/OBS,可以不用配置数据转换,数据将按“
rollback_to_instant(table => 'h1', instant_time=>'20220915113127525'); 注意事项 只能依次回滚最新的commit时间戳 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi CALL COMMAND语法说明
FORMATTED] table_name PARTITION (partition_spec) 描述 查看指定表的元数据信息。该语法目前只能显示列的元数据信息,等效于语法SHOW COLUMNS。 添加EXTENDED关键字会将表的所有元数据信息以“Thrift”序列化的格式显示出来。
自定义一个字段,以当前数据所在的文件名作为该字段值。 string 否 无 绝对路径 配置“文件名是否作为字段”引用文件名环境,选中单选框时是带绝对路径的文件名;不选中单选框时是不带路径的文件名。 boolean 否 不选中 验证输入字段 是否检验输入字段与值的类型匹配情况,值为“NO”,不
使用hcatalog方式同步hive parquet表报错 问题 同步hive parquet表,其分区字段为非string类型,无法正常使用hive import导入,只能考虑使用hcatalog方式,但是hcatalog方式报错如下: 回答 修改sqoop源码SqoopHCatUtilities中的代码,将限制代码去掉。
自定义一个字段,以当前数据所在的文件名作为该字段值。 string 否 无 绝对路径 配置“文件名是否作为字段”引用文件名环境,选中单选框时是带绝对路径的文件名;不选中单选框时是不带路径的文件名。 boolean 否 不选中 验证输入字段 是否检验输入字段与值的类型匹配情况,值为“NO”,不
自定义一个字段,以当前数据所在的文件名作为该字段值。 string 否 无 绝对文件名 配置“文件名”引用文件名环境,选中单选框时是带绝对路径的文件名;不选中单选框时是不带路径的文件名。 boolean 否 否 验证输入字段 检验输入字段与值的类型匹配情况,值为“NO”,不检查;值
准备Spark应用Python开发环境 操作场景 Python开发环境可以搭建在Windows环境下,而运行环境(即客户端)只能部署在Linux环境下。 操作步骤 对于Python开发环境,直接使用Editra编辑器(或其他编写Python应用程序的IDE)即可。 下载客户端样例配置程序到本地开发环境。
依赖DBService MS(MetaStore) 只能部署在Master节点上。 角色实例部署数量范围:2~10。 WH(WebHCat) 只能部署在Master节点上。 角色实例部署数量范围:1~10。 HS(HiveServer) 只能部署在Master节点上。 角色实例部署数量范围:2~80。