检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
decimal-mapping 默认情况下HetuEngine会跳过未指定精度或超过最大精度38位的Decimal/Number/Numeric数据类型,通过设置“decimal-mapping=allow_overflow”,将其映射为Decimal(38,x)数据类型,x值为decimal-default-scale的值
该用户的“user.keytab”文件与“krb5.conf”文件。 选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端配置文件压缩包为“FusionI
source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper quorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka
cd {客户端安装目录} 执行以下命令并按照提示输入MRS Manager有下载权限的用户名和密码(例如,用户名为admin,密码为创建集群时设置的密码),更新客户端配置。 sh autoRefreshConfig.sh 命令执行后显示如下信息,其中XXX表示集群安装的组件名称,如需
伸缩参数介绍见配置HetuEngine Worker节点数量章节。 - 是否开启维护实例 如果要启动物化视图的自动刷新能力,必须存在一个被设置为维护实例的计算实例,且全局唯一。存在多个计算实例时,仅有一个计算实例用作维护实例。 - 配置“自定义配置”参数。用户可以添加自定义参数到
确认密码 再次输入登录ECS的用户密码。 xxx 单击“下一步”,在“确认配置”页面检查配置集群信息,如需调整配置,可单击,跳转到对应页签后重新设置参数。 勾选通信安全授权后,单击“立即购买”,进入任务提交成功页面。 单击“返回集群列表”,可以查看到集群创建的状态。 集群创建需要时间,
SQL作业,作业类型选择“流作业”。在作业开发界面进行如下作业配置,并启动作业。需勾选“基础参数”中的“开启CheckPoint”,“时间间隔(ms)”可设置为“60000”,“模式”可使用默认值。 如果当前MRS集群为安全模式,执行以下操作: create table kafkasource(
Flink支持ignoreDelete特性。 Yarn NodeManager支持优雅退服。 Kafka支持数据加密。 Spark支持子查询字段不带聚合函数语法(设置spark.sql.legacy.correlated.scalar.query.enabled参数值为true)。 Spark支持视图表
组件类型名称,必须写为regex_filter。 regex - 用于匹配事件的正则表达式。 excludeEvents false 默认收集匹配到的Event。设置为true,则会删除匹配的Event,保留不匹配的。 配置示例(为了方便观察,此模型使用了netcat tcp作为Source源,logg
解决Kafka在kerberos认证失败之后自动重启存在异常的问题 解决Hudi和Spark目录下的Spring包不兼容的问题 解决Zookeeper配置了配额仍然显示设置顶层配额失败的告警的问题 解决老Guardian实例日志需要打印客户端IP的问题 解决MemArtsCC使用TPCDS测试套写10TB数据
自定义自动化脚本执行失败后,是否继续执行后续脚本和创建集群。建议您在调试阶段设置为“continue”,无论此自定义自动化脚本是否执行成功,则集群都能继续安装和启动。 约束限制: 由于缩容成功无法回滚,因此缩容后执行的脚本“fail_action”必须设置为“continue”。 取值范围: continue:继续执行后续脚本。
获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job
获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job
获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job
”表示开启多源表写入。 “--allow-continuous-when-multiple-sources”表示开启多源表持续写入,如果未设置所有源表写入一次后任务就会结束。 sourceCommon.properties : hoodie.deltastreamer.ingestion
获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job
ZooKeeper进程垃圾回收(GC)时间超过阈值 ALM-13004 ZooKeeper堆内存使用率超过阈值 ALM-13005 ZooKeeper中组件顶层目录的配额设置失败 ALM-13006 Znode数量或容量超过阈值 ALM-13007 ZooKeeper客户端可用连接数不足 ALM-13008 ZooKeeper
若无法直接下载,在华为开源镜像站(https://mirrors.huaweicloud.com/)搜索并单击名称为“HuaweiCloud SDK”的版块,按照页面弹出的设置方法进行操作。 如果不想覆盖Maven配置文件,也可以参考以下方法手动修改“settings.xml”配置文件或者组件样例工程中的“pom
若无法直接下载,在华为开源镜像站(https://mirrors.huaweicloud.com/)搜索并单击名称为“HuaweiCloud SDK”的版块,按照页面弹出的设置方法进行操作。 如果不想覆盖Maven配置文件,也可以参考以下方法手动修改“settings.xml”配置文件或者组件样例工程中的“pom
约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 不同作业的名称允许相同,但不建议设置相同。 默认取值: 不涉及 arguments 否 Array of strings 参数解释: 程序执行的关键参数,该参数由用户程序内的函数指定,MRS只负责参数的传入。