检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
滤器”和“文件过滤器”参数设置符合规则的目录和文件进行迁移。 例如迁移匹配“/user/test*”文件夹下文件,该场景下“文件格式”固定为“二进制格式”。 图3 配置作业参数 请参见配置HDFS目的端参数配置目的端连接的作业参数。 单击“下一步”进入任务配置页面。 如需定期将新
mysql_table (`int_id`, `float`) VALUES (1,2); 登录ClickHouse客户端安装节点。执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Ke
配置连接ZooKeeper节点的IP地址和端口,参数值格式为“IP1:port,IP2:port,IP3:port”,以此类推。默认端口号为“2181”。 sqoop.server.list 配置连接Loader的浮动IP和端口,参数值格式为“floatip:port”。默认端口号为“21351”。
产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败:进程使用率超过阈值时,无法切换到omm用户。无法创建新的omm线程,可能会导致作业运行失败。 可能原因 告警阈值配置不合理。 omm用户可以同时打开的进程(包括线程)的最大个数配置不合理。
可以在“mapred-site.xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类,用来读取数据,切分数据块。 setJarByClass(Class< > cls) 核心接口,指定
flinkuser需要用户自己创建,并拥有创建Kafka的topic权限。具体操作请参考准备MRS应用开发用户章节。 创建topic的命令格式: bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka --partitions
可以在“mapred-site.xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类,用来读取数据,切分数据块。 setJarByClass(Class< > cls) 核心接口,指定
导入证书文件。 导入新的CA证书文件。 请参考更换MRS集群CA证书章节,申请或生成新的CA证书文件并导入。导入CA证书后该告警信息会自动清除,查看系统在定时检查时是否会再次产生此告警。 是,执行7。 否,处理完毕。 导入新的HA证书文件。 请参考更换MRS集群HA证书章节,申请或生成新的
defaultFS - 默认文件系统的名称。URI模式必须设置为“viewfs”。 当使用“viewfs”模式时,权限部分必须是“ClusterX”。 命令格式: LOAD DATA INPATH 'path to data' INTO TABLE table_name OPTIONS ('...');
IP,建议任何情况下,都显式的设置该参数,避免后续机器增加新网卡导致IP选择不正确问题。“priority_network”的值是CIDR格式表示的,用于保证所有节点都可以使用统一的配置值。参数值分为两部分,第一部分是点分十进制的IP地址,第二部分是一个前缀长度。 例如,10.168
用CPU较高、Executor进程OOM等问题。 解决步骤 通过root用户登录Master1或Master2其中任意一节点,执行以下命令切换到omm用户。 su - omm 执行以下命令,修改“catalina.sh”脚本,搜索“JAVA_OPTS” ,找到类似如下的配置JAVA_OPTS=“-Xms1024m
集群内用户密码的过期时间如何查询和修改? 查询密码有效期 查询组件运行用户(人机用户、机机用户)密码有效期: 以客户端安装用户,登录安装了客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client 执行以下命令,配置环境变量。
择执行引导操作,则引导操作也会以相同方式在新增节点上执行。MRS会使用root用户执行用户指定的脚本,脚本内部可以通过su - xxx命令切换用户。 客户价值 MRS提供了自定义引导操作,用户可以灵活、便捷地配置自己的专属集群,自定义安装软件。 父主题: 产品功能
等缩容成功后,若不想用Core节点的NodeManager再将其停止。 建议与总结 Core节点的NodeManager通常不会将其停止,建议不要随意变更集群部署结构。 父主题: 集群管理类
test_db.carbon CHANGE a1 a1 DECIMAL(18,2); 系统响应 通过运行DESCRIBE命令,将显示被修改列变更后的数据类型。 父主题: CarbonData语法参考
配置连接ZooKeeper节点的IP地址和端口,参数值格式为“IP1:port,IP2:port,IP3:port”,以此类推。默认端口号为“2181”。 sqoop.server.list 配置连接Loader的浮动IP和端口,参数值格式为“floatip:port”。默认端口号为“21351”。
timestamp:UNIX时间戳(自Epoch以来的秒或毫秒),即value产生的时间。 value:某个metric的值,是JSON格式的事件或直方图/摘要。 tag:标签,是由Tagk和Tagv组成的键值对。用于描述该点所属的时间序列。 标签允许您从不同的源或相关实体中分
”进行IAM用户同步。 作业相关程序和输入文件已存放在OBS中。 该示例以新增MapReduce作业为例。 操作步骤 接口相关信息 URI格式:POST /v2/{project_id}/clusters/{cluster_id}/job-executions 详情请参见新增并执行作业。
defaultFS - 默认文件系统的名称。URI模式必须设置为“viewfs”。 当使用“viewfs”模式时,权限部分必须是“ClusterX”。 命令格式: LOAD DATA INPATH 'path to data' INTO TABLE table_name OPTIONS ('...');
union(env.readTextFile(filePaths[i])); } } // 数据转换,构造整个数据处理的逻辑,计算并得出结果打印出来 unionStream.map(new MapFunction<String