检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
task。给算子链上的中间算子手动分配ID是不可能的。例如:在链(Chain)[a->b->c]中,只能给a手动分配ID,b和c不能分配。如果用户想给b和c分配ID,用户必须手动建链。手动建链时需要使用disableChaining()接口。举例如下: env.addSource(new
目录下的样例工程文件夹“hive-jdbc-example”。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”文件放到样例工程的“hive-jdbc-example\src\main\resources”目录下。 进入客户端解压
赖区分列是否有创建索引。 mysql-fastpath-connector:MySQL数据库专用连接器,使用MySQL的mysqldump和mysqlimport工具进行数据的导入导出,相对generic-jdbc-connector来说,导入导出速度更快。 sftp-connector:SFTP数据源连接器。
在控制台打印详细信息 import参数 --fields-terminated-by 设定字段分隔符,和Hive表或hdfs文件保持一致 --lines-terminated-by 设定行分隔符,和hive表或hdfs文件保持一致 --mysql-delimiters MySQL默认分隔符设置
为常用的过滤列创建索引。 例如,如果msname,host和dime_1是过滤经常使用的列,根据cardinality,sort_columns列的顺序是dime_1-> host-> msname…。创建表命令如下,以下命令可提高dime_1,host和msname上的过滤性能。 create table
exampleUser为提交任务的用户名。 在提交任务的用户和非job.properties文件均无变更的前提下,客户端安装目录/Oozie/oozie-client-*/examples目录一经上传HDFS,后续可重复使用,无需多次提交。 解决Spark和Yarn关于jetty的jar冲突。 hdfs
0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JDBCServer2x变更为JDBCServer。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性 告警ID 告警级别 是否自动清除 43017 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢; HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode数量配额和使用量 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“19015”的告警,查看“附加信息”中的阈值。
如果分区不存在,Zookeeper会在“/block_numbers”目录下自动创建一个和分区名称一样的znode的问题。 解决调用MRS的作业管理接口API,返回的Spark日志的url和实际不一致的问题。 解决Spark JDBCServer切换成多实例模式后shuffle数据会不断累积,导致磁盘被打满的问题。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Task Failure Rate 产生告警的计算实例租户名和当前超过阈值的大小。 对系统的影响 HetuEngine计算实例任务失败率过高,会影响业务的正常运行,需及时排查问题并处理。 可能原因 计算实例资源配置过小。
至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~`!?,.;-_'(){}[]/<>@#$%^&*+|\=。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码。 不可与最近N次使用过的密码相同,N为密码策略配置中“重复使用规则”的值。 修改OMS
指本地文件系统中文件路径,每个节点都需要放一份/opt/log1.txt和/opt/log2.txt。可以默认,也可以设置。 <windowTime> 指窗口时间大小,以分钟为单位。可以默认,也可以设置。 运行向Kafka生产并消费数据样例程序(Scala和Java语言)。 生产数据的执行命令启动程序。 bin/flink
从checkpoint恢复spark应用的限制 第三方jar包跨平台(x86、TaiShan)支持 在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 ARM环境python pipeline运行报139错误码 Structured Streaming 任务提交方式变更
用于应用程序进行身份认证)。其他任意服务(例如YARN)需要访问HDFS并在HDFS中执行增、删、改、查数据的操作时,必须获取对应的TGT和ST,用于本次安全访问的认证。 应用开发认证 MRS各组件提供了应用开发接口,用于客户或者上层业务产品集群使用。在应用开发过程中,安全模式的
示例5: delete from columncarbonTable1 where column2 >= 4; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: DML
conversion”参数的值为“more”,在UDF中不能再使用相对路径来操作文件,而要使用绝对路径,并且保证所有的HiveServer节点和NodeManager节点上该文件是存在的且omm用户对该文件有相应的权限,才能正常在UDF中操作本地文件。 父主题: Hive常见问题
conversion”参数的值为“more”,在UDF中不能再使用相对路径来操作文件,而要使用绝对路径,并且保证所有的HiveServer节点和NodeManager节点上该文件是存在的且omm用户对该文件有相应的权限,才能正常在UDF中操作本地文件。 父主题: Hive常见问题
Hudi表的主键对应关系。 id Hudi表属性配置-Table Hudi Partition Type Hudi表和分区字段映射关系,如果Hudi表采用分区表,则需要配置表名和分区字段的对应关系,包括“time”和“customized”。 time Hudi表属性配置-Custom Config 自定义配置。
task。给算子链上的中间算子手动分配ID是不可能的。例如:在链(Chain)[a->b->c]中,只能给a手动分配ID,b和c不能分配。如果用户想给b和c分配ID,用户必须手动建链。手动建链时需要使用disableChaining()接口。举例如下: env.addSource(new
task。给算子链上的中间算子手动分配ID是不可能的。例如:在链(Chain)[a->b->c]中,只能给a手动分配ID,b和c不能分配。如果用户想给b和c分配ID,用户必须手动建链。手动建链时需要使用disableChaining()接口。举例如下: env.addSource(new