检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 样例工程名称 > Lifecycle > compile”,双击“compile”运行maven的compile命令。 图3 mavne工具 clean和compile 方法二 在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean compile命令进行编译。
在不需要进行shuffle分区时,会尝试使用本地shuffle reader读取shuffle数据,例如:将sort-merge join转换为broadcast-hash join后。 true spark.sql.adaptive.skewJoin.enabled 当此配置为true且spark
在不需要进行shuffle分区时,会尝试使用本地shuffle reader读取shuffle数据,例如:将sort-merge join转换为broadcast-hash join后。 true spark.sql.adaptive.skewJoin.enabled 当此配置为true且spark
CSV文件。 -td <directory>:用于为导出的CSV文件指定输出路径。 -tf <time-format>:用于指定时间格式,时间格式必须遵守ISO 8601标准。如果想要以时间戳方式来保存时间,需设置为-tf timestamp。例如,-tf yyyy-MM-dd\
“ALTER VIEW view_name SET TBLPROPERTIES table_properties;”中table_properties格式为 (property_name = property_value, property_name = property_value, ..
AS SELECT 命令功能 CREATE TABLE As SELECT命令通过指定带有表属性的字段列表来创建Hudi Table。 命令格式 CREATE TABLE [ IF NOT EXISTS] [database_name.]table_name USING hudi [
CLEAN_FILE 命令功能 用于清理Hudi表目录下的无效数据文件。 命令格式 call clean_file(table => '[table_name]', mode=>'[op_type]', backup_path=>'[backup_path]', start_in
jar,将获取的包上传到/opt/client/HBase/hbase/lib目录下。 执行Jar包。 在Linux客户端下执行Jar包的时候,需要用安装用户切换到客户端目录: cd $BIGDATA_CLIENT_HOME/HBase/hbase “$BIGDATA_CLIENT_HOME”指的是客户端安装目录。
产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败:进程使用率超过阈值时,无法切换到omm用户。无法创建新的omm线程,可能会导致作业运行失败。 可能原因 告警阈值配置不合理。 omm用户可以同时打开的进程(包括线程)的最大个数配置不合理。
导入证书文件。 导入新的CA证书文件。 请参考更换MRS集群CA证书章节,申请或生成新的CA证书文件并导入。导入CA证书后该告警信息会自动清除,查看系统在定时检查时是否会再次产生此告警。 是,执行7。 否,处理完毕。 导入新的HA证书文件。 请参考更换MRS集群HA证书章节,申请或生成新的
查看Master1节点 使用root用户登录Master1节点,密码为购买集群时配置的用于登录集群节点的“root”用户自定义密码。 执行以下命令切换到客户端软件包所在目录,并解压客户端软件包: cd /tmp/FusionInsight-Client/ tar -xvf FusionI
defaultFS - 默认文件系统的名称。URI模式必须设置为“viewfs”。 当使用“viewfs”模式时,权限部分必须是“ClusterX”。 命令格式: LOAD DATA INPATH 'path to data' INTO TABLE table_name OPTIONS ('...');
IP,建议任何情况下,都显式的设置该参数,避免后续机器增加新网卡导致IP选择不正确问题。“priority_network”的值是CIDR格式表示的,用于保证所有节点都可以使用统一的配置值。参数值分为两部分,第一部分是点分十进制的IP地址,第二部分是一个前缀长度。 例如,10.168
flinkuser需要用户自己创建,并拥有创建Kafka的topic权限。 具体操作请参考准备开发用户章节。 创建topic的命令格式:{zkQuorum}表示ZooKeeper集群信息,格式为IP:port。{Topic}表示Topic名称。 bin/kafka-topics.sh --create
可以在“mapred-site.xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类,用来读取数据,切分数据块。 setJarByClass(Class< > cls) 核心接口,指定
滤器”和“文件过滤器”参数设置符合规则的目录和文件进行迁移。 例如迁移匹配“/user/test*”文件夹下文件,该场景下“文件格式”固定为“二进制格式”。 图3 配置作业参数 请参见配置HDFS目的端参数配置目的端连接的作业参数。 单击“下一步”进入任务配置页面。 如需定期将新
可以在“mapred-site.xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类,用来读取数据,切分数据块。 setJarByClass(Class< > cls) 核心接口,指定
flinkuser需要用户自己创建,并拥有创建Kafka的topic权限。具体操作请参考准备MRS应用开发用户章节。 创建topic的命令格式: bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka --partitions
可以在“mapred-site.xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类,用来读取数据,切分数据块。 setJarByClass(Class< > cls) 核心接口,指定
连接HiveServer的客户端过多。 处理步骤 增加Hive最大连接数配置。 登录MRS集群详情页面,选择“组件管理”。 选择“Hive > 服务配置”,将“基础配置”切换为“全部配置”。 然后查找“hive.server.session.control.maxconnections”,调大该配置项的数值。设