检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
个函数用到的所有变量的独立复制。这些变量会被复制到每一台机器。通常看来，在任务之间中，读写共享变量显然不够高效。Spark为两种常见的使用模式，提供了两种有限的共享变量：广播变量、累加器。 在对性能要求比较高的场景下，可以使用Kryo优化序列化性能 Spark提供了两种序列化实现：
查询作业exe对象列表（废弃） 功能介绍 查询所有作业的exe对象列表。该接口不兼容Sahara。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI GET /v1.
MRS集群Task节点弹性伸缩概述 在大数据应用，尤其是实时分析处理数据的场景中，常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群的Task节点进行弹性伸缩。如果数据量是按照周期进行有规律的变化，用户可以按照固定时间段来自动调
在Linux中调测Hive JDBC应用 执行mvn package生成jar包，在工程目录target目录下获取，比如:hive-examples-1.0.jar。 在运行调测环境上创建一个目录作为运行目录，如“/opt/hive_examples”(Linux环境)，并在该目录下创建子目录“conf”。
Lambda表达式 Lambda表达式可以用->来表示： x->x+1 (x,y)->x+y x->regexp_like(x,'a+') x->x[1]/x[2] x->IF(x>0,x,-x) x->COALESCE(x,0) x->CAST(xASJSON) x->x+TRY(1/0)
CDL日志介绍 日志描述 日志路径：CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。 CDLService：“/var/log/Bigdata/cdl/service”（运行日志），“/var/log/Bigdata/audit/cdl/service”（审计日志）。
如何在Flume配置文件中使用环境变量 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env.sh”文件中添加环境变量。 格式：
ALTER VIEW 语法 ALTER VIEW view_name AS select_statement; ALTER VIEW view_name SET TBLPROPERTIES table_properties; 描述 “ALTER VIEW view_name AS
principal名(即开发用户名)。 security.kerberos.login.principal:flinkuser 对于HA模式，如果配置了ZooKeeper，还需要设置ZK kerberos认证相关的配置。配置如下： zookeeper.sasl.disable:
ive”和登录客户端的用户名，未开启Kerberos认证的集群配置用户名“omm”和登录客户端的用户名。 如需使用Hive在beeline模式下创建表时，配置内置用户“hive”。 单击“确定”。 勾选“我同意授权MRS用户（组）与IAM委托之间的信任关系。”，并单击“确定”，完成MRS用户与OBS权限的映射关系。
ALM-18020 Yarn任务执行超时 告警解释 系统每15分钟周期性检测提交到Yarn上的Mapreduce和Spark应用任务（JDBC常驻任务除外），当检测到任务执行时间超过用户指定的超时时间时，产生该告警，但任务仍继续正常执行。其中，Mapreduce的客户端超时参数为“mapreduce
转换函数 cast转换函数 HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如，一个查询期望得到一个varchar类型的值，HetuEngine不会自动将bigint类型的值转换为varchar类型。 如果有必要，可以将值显式转换为指定类型。
ALM-12007 进程故障（2.x及以前版本） 告警解释 进程健康检查模块按5秒周期检测进程状态。当进程健康检查模块连续三次检测到进程连接状态为故障时，产生该告警。 当进程连接正常时，告警恢复。 告警属性 告警ID 告警级别 可自动清除 12007 严重 是 告警参数 参数名称
数组函数和运算符 下标操作符：[] 描述：下标操作符用于访问数组中的元素，并从1开始建立索引。 select myarr[5] from (values array [1,4,6,78,8,9],array[2,4,6,8,10,12]) as t(myarr); _col0
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34
当Task节点个数为0时，使用该字段指定Task节点的规格。 当Task节点个数大于0时，不能使用该字段。该字段为空时，不填即可，字段内含必填参数不可使用会传空值对象的置空按钮。 取值范围： 不涉及 默认取值： 不涉及 表4 TaskNodeInfo 参数 是否必选 参数类型 描述 node_size
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
真实作业编号。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 properties String 参数解释： 配置参数，用于传-d参数。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 app_id String 参数解释： 实际作业编号。 约束限制： 不涉及
内存（MB）：输入值最小为4096。 开启CheckPoint 是否开启CheckPoint。开启后，需配置以下内容： 时间间隔（ms）：必填； 模式：必填； 可选项为：EXACTLY_ONCE、AT_LEAST_ONCE； 最小间隔（ms）：输入值最小为10； 超时时间：输入值最小为10；
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
