正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备连接Doris集群配置文件 准备集群认证用户信息 对于未开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户用于程序认证。 以下Doris权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录安装了MySQL客户端的节点,使用admin用户连接Doris服务。
实例”。查看ZooKeeper角色实例的IP地址。 --partitions主题分区数和--replication-factor主题备份个数不能大于Kafka角色实例数量。 ZooKeeper侦听客户端连接的端口获取方式:登录FusionInsight Manager,选择“集群 >
<outputPath>命令之前,<outputPath>目录必须不存在,否则会报错。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 对于MapReduce访问多组件样例程序,操作步骤如下。 在“/opt/client/conf”文件夹中创建文件“jaas_mr.conf”,文件内容如下:
modifyColumn(final TableName tableName, final HColumnDescriptor column) 修改指定的列簇。 表2 org.apache.hadoop.hbase.client.Table 方法 描述 boolean exists(Get
truststore ssl/ vi /opt/hadoopclient/Flink/flink/conf/flink-conf.yaml 修改如下两个参数的路径详细为相对地址路径。 security.ssl.keystore: ssl/flink.keystore security
通配符,例如:192.168.1.10,192.168.1.20或者192.168.1.*。 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 job 配置当前策
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能
modifyColumn(final TableName tableName, final HColumnDescriptor column) 修改指定的列簇。 表2 org.apache.hadoop.hbase.client.Table 方法 描述 boolean exists(Get
modifyColumn(final TableName tableName, final HColumnDescriptor column) 修改指定的列簇。 表2 org.apache.hadoop.hbase.client.Table 方法 描述 boolean exists(Get
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
元数据是外置数据库还是内置到DBService,如果是外置自建数据库,则需在安装Hive时或者暂无Hive数据时将元数据外置,安装后不允许修改,否则将会造成原有元数据丢失。 Hive对接CSS服务 本实践介绍如何使用Hive对接CSS的Elasticsearch服务。 利用Ela
准备HBase应用开发和运行环境 准备开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
密码,关联“dorisrole”角色,单击“确定”。 使用新建的dorisuser用户重新登录FusionInsight Manager,修改该用户初始密码。 集群未启用Kerberos认证(普通模式) 登录安装了MySQL客户端的节点,使用admin用户连接Doris服务。 mysql
upsert hoodie.datasource.write.table.type 指定Hudi表类型,一旦这个表类型被指定,后续禁止修改该参数,可选值MERGE_ON_READ。 COPY_ON_WRITE hoodie.datasource.write.precombine
<outputPath>命令之前,<outputPath>目录必须不存在,否则会报错。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 对于MapReduce访问多组件样例程序,操作步骤如下。 获取“hbase-site.xml”、“hiveclient.properties”和“hive-site
账号具备所有接口的调用权限,如果使用账号下的IAM用户发起API请求时,该IAM用户必须具备调用该接口所需的权限,否则,API请求将调用失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,只有发起请求的用户被授予授权项所对应的策略,该用户才能成功调用该接口。例如,用户要
当IDEA可以识别出Scala SDK时,在设置界面,选择编译的依赖jar包,然后单击“OK”应用设置。 图18 Add Scala Support 当系统无法识别出Scala SDK时,需要自行创建。 单击“Create...”。 图19 Create... 在“Select JAR's for
main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 查看调测结果 查看运行结果获取应用运行情况 HdfsExample
数中要为MRS集群绑定IAM权限委托,使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。 您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”,也可以自行创建其他具有OBS文件系统操作权限的自定义委托。 图3 设置MRS集群委托 集群购买成功后,在