检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ion失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session启动失败。 回答 建议将"blob.storage.directory"配置选项设
ion失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session启动失败。 回答 建议将"blob.storage.directory"配置选项设
demand array demand对象数组。 priority int 请求的优先级。 ismaster boolean 判断是否为application master需求。 capability object Capability对象。 vcores, memory, ..
demand array demand对象数组。 priority int 请求的优先级。 ismaster boolean 判断是否为application master需求。 capability object Capability对象。 vcores, memory, ..
demand array demand对象数组。 priority int 请求的优先级。 ismaster boolean 判断是否为application master需求。 capability object Capability对象。 vcores, memory, ..
是RUNNING的问题 解决FlinkServer使用println打印日志将磁盘打满导致Yarn不可用的问题 解决Flink客户端ssl证书过期导致Flink任务提交失败问题 解决Flink写Hbase,获取的Hbase Connect7天超期,报Token has expired问题
败的问题? 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session启动失败。 回答 建议将"blob.storage.directory"配置选项设
ete等。综上基本可以得出操作文件的程序库框架: operator() { 得到Configuration对象 得到FileSystem对象 进行文件操作 } HDFS初始化方法 HDFS初始化是指在使用HDFS提供的API之前,需要做的必要工作。
connection = ConnectionFactory.createConnection(hbConf); //获取table对象 val table = connection.getTable(TableName.valueOf(tableName));
(property_name=property_value,...)] 描述 创建一个空的schema。schema是表、视图以及其他数据库对象的容器。当指定可选参数IF NOT EXISTS时,如果系统已经存在同名的schema,将不会报错。 Schema默认路径为hdfs://
ssl启用后密钥存储密码,开启ssl后,该参数必填。 trust-all-certs false 是否关闭SSL server证书检查。设置为“true”时将不会检查远端source的SSL server证书,不建议在生产中使用。 exclude-protocols SSLv3 排除的协议列表,用空格分开。默认排除SSLv3协议。
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
图中有三个不同的用户:用户A、用户B和用户C。 角色 角色是承载一个或多个权限的载体。权限是限定在具体对象上的,例如对HDFS中的“/tenant”目录的访问权限,这里权限就限定在“/tenant”目录这个具体对象上。 图中有四个不同的角色:角色“t1”、角色“t2”、角色“t3”和角色“Manager_tenant”。
勾选“我已经阅读上述信息,并了解具体影响。”并单击“确定”。 单击“组件管理”观察各个组件是否存在异常,若存在异常等待5~10分钟后再次观察组件,依然存在异常则联系华为云技术支持处理。 单击“告警管理”观察是否存在异常告警,若存在请清除告警后再进行其他操作。 父主题: MRS集群容量调整
<priority>可以设置为: VERY_HIGH HIGH NORMAL LOW VERY_LOW API接口。 用户也可以使用API配置对象的优先级。 设置优先级,可通过Configuration.set("mapreduce.job.priority", <priority>)或Job
obs://obs-mrstest/data Mounted obs://obs-mrstest/data at /mnt/obs 通过Alluxio命名空间列出OBS文件系统中的文件。使用ls命令列出OBS挂载目录下的文件。 alluxio fs ls /mnt/obs 38
如需添加多个参数,请单击右侧增加。 例如作业需要通过AK/SK方式访问OBS,增加以下服务配置参数: fs.obs.access.key:访问OBS的密钥ID。 fs.obs.secret.key:访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。
资产识别与管理 通信安全授权 MRS服务通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 通
已取消或失败的Job。 /jobs/<jobid> 一个Job主要信息包含列出数据流计划,状态,状态转换的时间戳,每个顶点(运算符)的聚合信息。 /jobs/<jobid>/vertices 目前与“/jobs/<jobid>”相同。 /jobs/<jobid>/config Job使用用户定义的执行配置。
确保用户已授权访问作业执行时操作的HDFS/OBS目录、HBase表和数据。 获取外部数据源(SFTP服务器或关系型数据库)使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP、FTP和HDFS/OBS导入数据时,确保外部数据源的输入