检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理Loader作业,包括创建作业、查询作业、更新作业、删除作业、激活作业、去激活作业、启动作业、停止作业。 Metadata Repository 元数据仓库,存储和管理Loader的连接器、转换步骤、作业等数据。 HA Manager 管理Loader Server进程的主备状态,Loader Server包含2个节点,以主备方式部署。
B表都有个名为name的列。对A、B表进行join操作。 估计表的大小。 根据每次加载数据的大小,来估计表大小。 也可以在Hive的数据库存储路径下直接查看表的大小。首先在Spark的配置文件“hive-site.xml”中,查看Hive的数据库路径的配置,默认为“/user/h
设置Mapreduce任务日志清理任务的检查周期(秒)。设置为“-1”时检查周期为日志保留时间的十分之一。 86400 如果是任务日志将HDFS存储空间占用太多,主要修改“mapreduce.jobhistory.max-age-ms”和“yarn.log-aggregation.re
失败重试次数超过这个值,就会删除该任务记录,下次运行时将从头开始运行,默认是10次。 beeline.reconnect.zk.path:存储任务执行进度的根节点,Hive服务默认是/beeline。 父主题: Hive企业级能力增强
设置Mapreduce任务日志清理任务的检查周期(秒)。设置为“-1”时检查周期为日志保留时间的十分之一。 86400 如果是任务日志将HDFS存储空间占用太多,主要修改“mapreduce.jobhistory.max-age-ms”和“yarn.log-aggregation.re
失败重试次数超过这个值,就会删除该任务记录,下次运行时将从头开始运行,默认是10次。 beeline.reconnect.zk.path:存储任务执行进度的根节点,Hive服务默认是“/beeline”。 父主题: Hive企业级能力增强
设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,根据实际场景在“存储类型”选择“HBASE_BULKLOAD”或“HBASE_PUTLIST”,设置数据保存方式。 表4 输出设置参数 存储类型 适用场景 参数名 说明 示例 HBASE_BULKLOAD 数据量大 HBase实例
设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,根据实际场景在“存储类型”选择“HBASE_BULKLOAD”或“HBASE_PUTLIST”,设置数据保存方式。 表4 输出设置参数 存储类型 适用场景 参数名 说明 示例 HBASE_BULKLOAD 数据量大 HBase实例
单击“创建Catalog”,配置以下参数后,单击“提交”。 Catalog名称:hive(固定名称,不可自定义) 选择位置:单击“”选择Catalog对应的OBS存储路径,例如选择“obs://lakeformation-test/hive”(需提前创建),单击“确定”。 其他参数根据实际需要进行配置。
B表都有个名为name的列。对A、B表进行join操作。 估计表的大小。 根据每次加载数据的大小,来估计表大小。 也可以在Hive的数据库存储路径下直接查看表的大小。首先在Spark的配置文件“hive-site.xml”中,查看Hive的数据库路径的配置,默认为“/user/h
复杂度要求: 至少包含大写字母、小写字母、数字、特殊符号4种类型字符 至少8位,最多64位 出于安全考虑,建议用户定期更换自定义密码(例如三个月更换一次),并重新生成各项证书和信任列表。 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多
权限。 主备容灾场景下,genPwFile.sh脚本需要在主集群和容灾集群节点上分别执行,且两个集群需要输入相同的密码。 执行以下命令打包三个文件为tar压缩包,并保存在本地。 tar -cvf 压缩包名 证书名称.crt 密钥名称.key password.property 例如,tar
HTML输入 文件输出 固定宽度文件输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,在“存储类型”中选择“HDFS”,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 文件类型 文件导入后保存的类型: “TEXT_FILE”:导入文本文件并保存为文本文件
算子输入、输出参数设置 输入类型 输出类型 表输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,在“存储类型”中选择“HDFS”,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 文件类型 文件导入后保存的类型: “TEXT_FILE”:导入文本文件并保存为文本文件
因此,MRS大数据集群提供了完整的企业级大数据多租户解决方案。多租户是MRS大数据集群中的多个资源集合(每个资源集合是一个租户),具有分配和调度资源(资源包括计算资源和存储资源)的能力。 特性优势 合理配置和隔离资源 租户之间的资源是隔离的,一个租户对资源的使用不影响其他租户,保证了每个租户根据业务需求去配置相关的资源,可提高资源利用效率。
口,用户输入脚本后,工具会返回相应信息到交互窗口。 批量模式 通过执行“sqoop2-shell”脚本,带一个文件名作为参数,该文件中按行存储了多条命令,sqoop-shell工具将会按顺序执行文件中所有命令;或者在“sqoop2-shell”脚本后面通过“-c”参数附加一条命令,一次只执行一条命令。
HTML输入 文件输出 固定宽度文件输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,在“存储类型”中选择“HDFS”,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 文件类型 文件导入后保存的类型: “TEXT_FILE”:导入文本文件并保存为文本文件
算子输入、输出参数设置 输入类型 输出类型 表输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,在“存储类型”中选择“HDFS”,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 文件类型 文件导入后保存的类型: “TEXT_FILE”:导入文本文件并保存为文本文件
详细介绍请参见通过成本标签维度查看成本分配。 使用成本单元进行成本分配 企业可以使用成本中心的“成本单元”来拆分公共成本。公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类别。使用拆分
的返回值的函数 SQL中函数存在嵌套使用,或者是使用的函数会发生异常导致重写失败的函数 物化视图创建语句改写不支持二段式表名,支持一段式和三段式表名。 如支持改写表名为“hive.mvschema.t1”和“t1”,不支持改写表名为“mvschema.t1”。 物化视图改写场景示例