检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
gate over inner join、aggregate over union all等。为应对不同应用场景的特殊需求，对所有下推模块设计开关功能，用户可以自行配置是否应用上述查询下推的增强。 表1 跨源查询增加特性对比 模块 增强前 增强后 aggregate 不支持aggregate下推
”。如“ -XX:NewRatio=2”，则表示老年代与新生代的比值为2:1，新生代占整个堆空间的1/3，老年代占2/3。 开发Flink应用程序时，优化DataStream的数据分区或分组操作。 当分区导致数据倾斜时，需要考虑优化分区。 避免非并行度操作，有些对DataStre
nodemanager.linux-container-executor.cgroups.cpu-set-usage 设置为“true”时，应用以cpuset模式运行。 false 配置strictcpuset模式，即Container只能使用配置的CPU，需要在Manager界面添加以下配置。
若要使用其他用户在节点上读取已提交的作业相关文件，需确保该用户与提交作业的用户具有相同的用户组和具有对应的FlinkServer应用管理权限角色，如参考创建FlinkServer权限角色勾选“应用查看”。 作业状态为“运行中”的作业可以查看作业详情。 作业状态为“运行失败”、“运行成功”和“停止”的作
对应组件的管理权限，导致界面报错或部分功能不可用。 例如： 使用当前用户登录Flink WebUI后，部分内容不能正常显示，且没有权限创建应用、创建集群连接、创建数据连接等： 使用当前用户访问HDFS WebUI报错： Failed to retrieve data from /jmx
priority=<priority> [path1] [path2] 命令行中参数含义为： <jar>：指定需要运行的jar包名称。 [mainClass]：指jar包应用工程中的类的main方法。 <priority>：指定任务的优先级，其取值可为：VERY_HIGH、HIGH、NORMAL、LOW、VERY_LOW。
priority=<priority> [path1] [path2] 命令行中参数含义为： <jar>：指定需要运行的jar包名称。 [mainClass]：指jar包应用工程中的类的main方法。 <priority>：指定任务的优先级，其取值可为：VERY_HIGH、HIGH、NORMAL、LOW、VERY_LOW。
Name”为“admin”的角色，在“Users”区域，单击“Select User”，选择指定用户名。 单击Add Users按钮，在对应用户名所在行勾选“Is Role Admin”，单击“Save”保存配置，操作结束。 选择“系统 > 权限 > 角色”，添加一个拥有Hive管理员权限的角色。
大表和小表做join操作时可以把小表Broadcast到各个节点，从而就可以把join操作转变成普通的操作，减少了shuffle操作。 操作步骤 在开发应用程序时，添加如下代码，将“testArr”数据广播到各个节点。 def main(args: Array[String]) { ...
图1展示了使用IoTDB套件的全部组件形成的整体应用架构，IoTDB特指其中的时间序列数据库组件。 图1 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败：主机文件句柄使用率超过阈值时，系统应用无法打开文件、网络等IO操作，程序异常，可能会导致作业运行失败。 可能原因 应用进程存在异常，如打开的文件或socket没有关闭。 文件句柄数不满足当前业务需求。 系统环境异常。
nodemanager.linux-container-executor.cgroups.cpu-set-usage 设置为“true”时，应用以cpuset模式运行。 false 配置strictcpuset模式，即container只能使用配置的CPU，需要添加以下配置。 表2
）。 1024 -yn 设置分配给应用程序的Yarn容器的数量，该值与TaskManager数量相同。 MRS 3.x及之后版本，运行程序参数不支持“-yn”。 2 -ys 设置TaskManager的核数。 2 -ynm 自定义Yarn上应用程序名称。 test -c 设置程序
默认warehouse目录下。同时在外表授权时，禁止更改其Location目录对应的权限。 开启本功能之后，外表功能变化大。请充分考虑实际应用场景，再决定是否做出调整。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 >
计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD.groupByKey(24)
gate over inner join、aggregate over union all等。为应对不同应用场景的特殊需求，对所有下推模块设计开关功能，用户可以自行配置是否应用上述查询下推的增强。 表1 跨源查询增加特性对比 模块 增强前 增强后 aggregate 不支持aggregate下推
”。如“ -XX:NewRatio=2”，则表示老年代与新生代的比值为2:1，新生代占整个堆空间的1/3，老年代占2/3。 开发Flink应用程序时，优化DataStream的数据分区或分组操作。 当分区导致数据倾斜时，需要考虑优化分区。 避免非并行度操作，有些对DataStre
如果将参数“initLimit”和“syncLimit”的参数值均配置为“300”之后，ZooKeeper Server仍然无法恢复，则需确认没有其他应用程序正在kill ZooKeeper。例如，参数值为“300”，ticket时长为2000毫秒，即同步限定时间为300*2000ms=600s。
403问题 解决作业管理提交Spark访问HBase作业失败问题 解决作业管理提交作业后，HDFS上mrs/mrsjob/目录下存在大量application子目录未清理的问题 解决升级log4j后，作业管理提交Hive作业异常，jar包冲突的问题 解决审计日志不老化导致磁盘满的问题
AG模型）、Spark（内存计算）、SparkStreaming（微批流计算）、Storm（流计算）、Flink（流计算），满足多种大数据应用场景，将数据进行结构和逻辑的转换，转化成满足业务目标的数据模型。 基于预设的数据模型，使用易用的SQL数据分析，用户可以选择Hive（数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
