检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该章节通过指导用户配置集群绑定EIP,并配置HDFS文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
该章节通过指导用户配置集群绑定EIP,并配置Hive文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性,迁移前需要掌握现有集群的详细信息,以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图(包括峰值和均值流量等)。 识别平台数据接入源、大数据平台数据流入方式(实时数据上报、批量数据抽取)、分析平台数据流向。
配置Spark数据传输加密 配置ZooKeeper数据传输加密 配置Controller与Agent间数据传输加密 配置受信任IP地址访问LDAP 加密HFile和WAL内容 配置HBase只读模式集群允许修改数据的IP白名单 配置LDAP输出审计日志 更新MRS集群加密密钥 更新MRS集群节点omm用户ssh密钥
在一个复杂的集群环境中,多种服务共享使用集群资源,但是各服务的资源使用周期可能会有比较大的区别。 例如以下业务场景,对于一个银行客户: 在白天HBase查询服务的业务多。 在晚上查询服务的业务少而Hive分析服务业务多。 如果只给每个服务设置固定的资源可能会导致: 白天查询服务的资源不够用,分析服务的资源空闲。
BM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 父主题: 准备MapReduce应用开发环境
该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。 在虚拟私有云管理控制台,申请弹性公网I
该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。 在虚拟私有云管理控制台,申请弹性公网I
FTP协议未加密数据可能存在安全风险,建议使用SFTP。转储服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC,且Master节点可以访问转储服务器的IP地址和指定端口。转储服务器的FTP服务正常。 Manager支持采集当前管理的集群内所有监控指标数据,采集周期有30秒、60秒和30
该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。 在虚拟私有云管理控制台,申请弹性公网I
该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。 在虚拟私有云管理控制台,申请弹性公网I
给当前用户添加其他用户库表的HDFS路径的读、写、执行权限,具体配置请参考添加HDFS的Ranger访问权限策略。 在Ranger上为用户添加Spark SQL的访问策略后,需要在HDFS的访问策略中添加相应的路径访问策略,否则无法访问数据文件,具体请参考添加HDFS的Ranger访问权限策略。
8版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 父主题: 准备HDFS应用开发环境
Kerberos协议中,每个用户对象即一个principal。一个完整的用户对象包含两个部分信息:用户名和域名。在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机机”用户。二者主要区别在于“机机”用户密码由系统随机生成。 Kerberos认证
同时为弹性云服务分配足够的磁盘空间,例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。 若未安装,在配置了yum源的情况下,可执行yum
request.log Jetty服务的请求日志 日志级别 Hive提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述
JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 父主题: 准备Storm应用开发环境
一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移,再配置对接。
对权限最小化的安全管控要求。 如果您要允许或是禁止某个接口的操作权限,请使用策略。 账号具备所有接口的调用权限,如果使用账号下的IAM用户发起API请求时,该IAM用户必须具备调用该接口所需的权限,否则,API请求将调用失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,