检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果statusdir设置,enablelog设置为true,收集Hadoop任务配置和日志到$statusdir/logs。此后,成功和失败的尝试,都将记录进日志。$statusdir/logs下,子目录布局为: logs/$job_id (directory for $job_id)
如果statusdir设置,enablelog设置为true,收集Hadoop任务配置和日志到$statusdir/logs。此后,成功和失败的尝试,都将记录进日志。$statusdir/logs下,子目录布局为: logs/$job_id (directory for $job_id)
据文件,否则在使用时会提示“Password has expired - change password to reset”,导致安全认证失败。 父主题: MRS应用开发安全认证说明
main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 查看调测结果 查看运行结果获取应用运行情况 HdfsExample
LAIN。 kafka.sasl_password 连接Kafka用户的密码,新建的用户ck_user1需要先修改初始密码,否则会导致认证失败。 kafka.sasl_username 连接Kafka的用户名,输入1创建的用户名。 kafka_auth_mode ClickHou
通配符,例如:192.168.1.10,192.168.1.20或者192.168.1.*。 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 job 配置当前策
tar”,继续解压该文件。解压到本地PC的“D:\FusionInsight_Cluster_1_Services_ClientConfig”目录下(路径中不能有空格)。 进入客户端解压路径“FusionInsight_Cluster_1_Services_ClientConfig\Storm\config”,获取相关配置文件。
LOAD 语法 LOAD DATA INPATH filepath [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=value1,partcol2=values2…)] 描述 LOAD DATA命令用于从文件或者文件夹加载数据到table。
实例”,查看ZooKeeper角色实例的IP地址。 --partitions主题分区数和--replication-factor主题备份个数不能大于Kafka角色实例数量。 ZooKeeper侦听客户端连接的端口获取方式:登录FusionInsight Manager,选择“集群 >
实例”。查看ZooKeeper角色实例的IP地址。 --partitions主题分区数和--replication-factor主题备份个数不能大于Kafka角色实例数量。 ZooKeeper侦听客户端连接的端口获取方式:登录FusionInsight Manager,选择“集群 >
修改MRS集群LDAP管理账户密码 建议管理员定期修改集群LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码,以提升系统运维安全性。 该章节仅适用于MRS
在执行以上命令之前,<outputPath>目录必须不存在,否则会报错。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 对于MapReduce访问多组件样例程序,操作步骤如下。 在“/opt/client/conf”文件夹中创建文件“jaas_mr.conf”,文件内容如下:
owID关联。 数据要求: 数据从产生到到达流处理引擎的延迟时间不超过2小时 广告请求事件、广告展示事件、广告点击事件到达流处理引擎的时间不能保证有序和时间对齐 数据规划 在kafka中生成模拟数据(需要有Kafka权限用户)。 java -cp $SPARK_HOME/conf
owID关联。 数据要求: 数据从产生到到达流处理引擎的延迟时间不超过2小时 广告请求事件、广告展示事件、广告点击事件到达流处理引擎的时间不能保证有序和时间对齐 数据规划 在kafka中生成模拟数据(需要有Kafka权限用户)。 java -cp $SPARK_HOME/conf
进入网络控制台,创建一个新的子网。 - 集群节点 MRS集群内节点的规格信息及数量配置。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 根据自身需要选择集群节点规格数量。 Kerberos认证 MRS集群中各组件是否启用Kerberos认证。Kerberos
账号具备所有接口的调用权限,如果使用账号下的IAM用户发起API请求时,该IAM用户必须具备调用该接口所需的权限,否则,API请求将调用失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,只有发起请求的用户被授予授权项所对应的策略,该用户才能成功调用该接口。例如,用户要
“D:\FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles”目录下(路径中不能有空格)。 进入客户端解压路径“FusionInsight_Cluster_1_Services_ClientConfig_ConfigF
实例”,查看ZooKeeper角色实例的IP地址。 --partitions主题分区数和--replication-factor主题备份个数不能大于Kafka角色实例数量。 ZooKeeper侦听客户端连接的端口获取方式:登录FusionInsight Manager,选择“集群 >
修改ClickHouse默认用户密码(MRS 3.3.0-LTS及之后版本) ClickHouse集群创建成功后,可以通过ClickHouse客户端访问连接ClickHouse服务端。 本章节指导用户创建ClickHouse集群(普通模式)后,设置ClickHouse的默认用户“
在执行以上命令之前,<outputPath>目录必须不存在,否则会报错。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 对于MapReduce访问多组件样例程序,操作步骤如下。 获取“user.keytab”、“krb5.conf”、“hbase-site