检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
https://{endpoint}/v1.1/{project_id}/clusters/{cluster_id} {endpoint}具体请参考终端节点。 {project_id}信息请通过获取项目ID获取。 {cluster_id}信息即创建集群成功后返回结果中的“cluster_id”
jks path System.setProperty("iotdb_ssl_truststore", "truststore文件路径"); } Session session = new Session(LOCAL_HOST, 22260, "认证用户名"
在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:默认勾选即可,例如“x86_64”。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。
计算资源指租户Yarn任务队列资源,可以修改任务队列的配额,并查看任务队列的使用状态和使用统计。 存储资源目前支持HDFS存储,可以添加删除租户HDFS存储目录,设置目录的文件数量配额和存储空间配额。 Manager作为MRS的统一租户管理平台,用户可以在界面上根据业务需要,在集群中创建租户、管理租户。 创建租户
在MRS Manager界面选择“系统设置>用户管理”,在用户名中选择sparkuser,单击操作中下载认证凭据文件,保存后解压得到用户的keytab文件与krb5.conf文件。用于在样例工程中进行安全认证,具体使用请参考准备认证机制代码。 父主题: 准备Spark应用开发环境
omponent_env Hadoop组件的环境变量位置:/opt/client/HDFS/component_env Hadoop客户端路径:/opt/client/HDFS/hadoop 父主题: 组件配置类
IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-zip 16
作业的名称,新增作业时配置。 ID是作业的唯一标识,作业新增后系统自动赋值。 用户名称 提交作业的用户名称。 作业类型 作业类型。 说明: 在MRS集群“文件管理”页面进行文件的导入导出操作后,您可以在“作业管理”页面查看Distcp类型的作业详情。 状态 显示作业的状态。 已提交:作业已提交。 已接受:作业提交成功后的初始状态。
“创建”,RWX+ownership(for create external table - the location) 说明: 按照指定文件路径创建datasource表时,需要path后面文件的RWX+ownership权限。 DROP TABLE “Ownership”(of table) DROP TABLE
因为task失败达到最大attempt次数(MapReduce默认4次)而失败。 规避手段: 在“客户端安装路径/Yarn/config/yarn-site.xml”文件中修改“yarn.resourcemanager.am-scheduling.node-blacklistin
RWX+ownership(for create external table - the location) 说明: 按照指定文件路径创建datasource表时,需要path后面文件的RWX+ownership权限。 DROP TABLE “Ownership”(of table) DROP TABLE
的所有文件复制到与依赖库文件夹同级的目录“src/main/resources”下,即“/opt/client/src/main/resources”。 进入目录“/opt/client”,首先确保“src/main/resources”目录下和依赖库文件目录下的所有文件,对当前
端。 请参见配置HDFS源端参数配置源端连接的作业参数,需要迁移的文件夹可通过“目录过滤器”和“文件过滤器”参数设置符合规则的目录和文件进行迁移。 例如迁移匹配“/user/test*”文件夹下文件,该场景下“文件格式”固定为“二进制格式”。 图3 配置作业参数 请参见配置HDFS目的端参数配置目的端连接的作业参数。
因为task失败达到最大attempt次数(MapReduce默认4次)而失败。 规避手段: 在“客户端安装路径/Yarn/config/yarn-site.xml”文件中修改“yarn.resourcemanager.am-scheduling.node-blacklistin
的所有文件复制到与依赖库文件夹同级的目录“src/main/resources”下,即“/opt/client/src/main/resources”。 进入目录“/opt/client”,首先确保“src/main/resources”目录下和依赖库文件目录下的所有文件,对当前
3/server/webapps/loader/WEB-INF/ext-lib chown omm:wheel jar包文件名 chmod 600 jar包文件名 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Loader >
3/server/webapps/loader/WEB-INF/ext-lib chown omm:wheel jar包文件名 chmod 600 jar包文件名 登录FusionInsight Manager系统,选择“集群 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。
truststore; 需要在Flink客户端环境中任意目录下创建ssl文件夹,如在“/opt/client/Flink/flink/conf/”目录下新建目录ssl,将flink.keystore、flink.truststore文件放入ssl文件夹中; 执行yarn-session或者flink run
名称。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络读吞吐率超过阈值,直接联系系统管理员,提升网口速率。
网口。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络写吞吐率超过阈值,直接联系系统管理员,提升网口速率。