检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security
Manager租户管理员。 可为当前用户所属于的非叶子租户创建子租户并管理。具有“运维 > 告警”页面下“告警”、“事件”的查看权限。 System_administrator 系统管理员,具有Manager的管理员权限及所有组件服务管理员的权限。 default 为集群defau
main(args: Array[String]): Unit = { if (args.length < 6) { System.err.println("Usage: SecurityKafkaWordCount <bootstrap-servers> " +
必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 192.168.1.110 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。
一个副本所在节点故障时,无法满足最小写入成功的副本数,那么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 参考修改集群服务配置参数进入Kafka服务全部配置页面,在服务端配置如表1中参数。
功能描述 HDFS文件操作节点,支持对HDFS文件及目录的创建、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签
配置场景 使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时如果用户未配置“jaas.conf”文件,会导致应用运行失败。 因此,根据应用是否涉及HBase进行以下处理: 当应用不涉及HBase时,即无需获取HBase
数越多,单个Task生成的HDFS文件越多,则元数据占用的内存也越多。这就导致程序GC(Gabage Collection)严重,甚至发生OOM(Out of Memory)。 经测试证明:10240个Task,2000个分区,在执行HDFS文件从临时目录rename到目标目录动
换到omm用户下,在/home/omm目录下创建fair-scheduler.xml、llama-site.xml文件。 打开fair-scheduler.xml文件,添加如下配置。 <allocations> <queue name="root"> <aclSubmitApps>
path='${nameNode}/user/oozie_cli/${dataLoadRoot}/reuslt' permissions='-rwxrw-rw-' dir-files='true'></chmod> </fs> <ok to="end"/> <error to="fail"/>
Project”对话框。 在弹出窗口选择文件夹“hive-jdbc-example”,单击“OK”。Windows下要求该文件夹的完整路径不包含空格。 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File > Settings”。
目录下的样例工程文件夹“hdfs-example-normal”。 导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,依次选择“File > Open”。 在弹出的Open File or Project对话框中选择样例工程文件夹“hdfs-ex
在“Project Structure”页面,选择“Artifacts”页签。 在右侧窗口中单击“+”,选择“Library Files”添加依赖包。 图2 添加Library Files 选择需要添加的依赖包,然后单击“OK”。 图3 Choose Library 单击“Apply”加载依赖包,然后单击“OK”完成配置。
在“Project Structure”页面,选择“Artifacts”页签。 在右侧窗口中单击“+”,选择“Library Files”添加依赖包。 图2 添加Library Files 选择需要添加的依赖包,然后单击“OK”。 图3 Choose Libraries 单击“Apply”加载依赖包,然后单击“OK”完成配置。
ty)。 HBase中的表具有如下特点: 大:一个表可以有上亿行,上百万列。 面向列:面向列(族)的存储和权限控制,列(族)独立检索。 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。 接口类型介绍 由于HBase本身是由java语言开发出来的,且j
from system.replicas where is_readonly = 1 是,执行4。 否,执行8。 依次执行以下SQL语句,其中database和table是3中查询的结果。SQL执行完后,再执行3中的SQL,查看结果中是否包含当前只读表。 system restore
Manager界面超时退出后无法正常登录 现象描述 MRS Manager超时退出后偶现无法正常登录访问页面。 可能原因 超时后页面的js及css文件未加载成功。 操作步骤 清除浏览器缓存。 刷新当前页面即可正常登录及访问。 父主题: 登录集群Manager常见异常问题
tables 使用示例 --查询数据库 show databases; ┌─name────┐ │ default │ │ system │ │ test │ └───────┘ --查询表信息 show tables; ┌─name──┐ │
1296000000(15天) 任务日志参数: 表2 参数说明 参数 描述 默认值 yarn.log-aggregation.archive.files.minimum 设置Mapreduce任务日志归档最小文件数。当“yarn.nodemanager.remote-app-log-di
表达式过滤。 * 文件过滤器 配置通配符对源文件的输入文件名进行过滤。配置多个过滤条件时使用“,”隔开。不能配置为空。不支持正则表达式过滤。 * 编码类型 源文件的编码格式,如UTF-8。导入文本文件时才能配置。 UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空,表示不加后缀。