检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
delay: 10 s 重启策略选择 如果用户在作业失败后，不希望重试，则推荐使用No restart策略。 如果用户在作业失败后，希望对作业进行重试，推荐使用failure-rate策略。因为fixed-delay策略可能会因为网络、内存等硬件故障导致用户作业失败次数达到最大重试次数，从而导致作业失败。
基于某些业务要求，要求开发Spark应用程序实现如下功能： 根据用户名累计用户的历史消费金额，即用户总消费金额=100(用户当天的消费金额) + 1000(用户历史消费金额)。 上例所示，运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 使用HBase
val resultValue = hiveValue + hbaseValue.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
回答 当前可以通过以下3种方式创建UDF： 在Hive端创建UDF。 通过JDBCServer接口创建UDF。用户可以通过Spark Beeline或者JDBC客户端代码来连接JDBCServer，从而执行SQL命令，创建UDF。 通过spark-sql创建UDF。 删除UDF失败，存在以下两种场景：
回答 当前可以通过以下3种方式创建UDF： 在Hive端创建UDF。 通过JDBCServer接口创建UDF。用户可以通过Spark Beeline或者JDBC客户端代码来连接JDBCServer，从而执行SQL命令，创建UDF。 通过spark-sql创建UDF。 删除UDF失败，存在以下两种场景：
int resultValue = hiveValue + Integer.valueOf(hbaseValue); // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
int resultValue = hiveValue + Integer.valueOf(hbaseValue); // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
默认值 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 分割长度单位 长度单位，可选择“char”字符或“byte”字节。 enum 是 char 输入字段 配置输入字段相关信息： 固定长度：设置字段长度，第2
默认值 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 分割长度单位 长度单位，可选择“char”字符或“byte”字节。 enum 是 char 输入字段 配置输入字段相关信息： 固定长度：设置字段长度，第2
集群默认是200，作业可以单独设置。如果发现瓶颈stage（执行时间长），且分配给当前作业的核数大于当前的并发数，说明并发度不足。通过以下配置优化。 场景 配置项 集群默认值 调整后 Jar作业 spark.default.parallelism 200 按实际作业可用资源2倍设置 SQL作业 spark
ZNode的名称，建议与Hudi表名相同 无 hoodie.write.lock.zookeeper.connection_timeout_ms zk连接超时时间 15000 hoodie.write.lock.zookeeper.port zk端口号 无 hoodie.write.lock
开文件“clickhouse-example.properties”，按需修改表1的参数。 （可选）如果使用机机用户认证，需要参考准备MRS应用开发用户下载该机机用户的user.keytab与krb5.conf认证凭据文件，并将文件上传到样例工程的conf目录下。 父主题： 准备ClickHouse应用开发环境
JDBCServer长时间运行导致磁盘空间不足 用户问题 连接Spark的JDBCServer服务提交spark-sql任务到yarn集群上，在运行一段时间以后会出现Core节点的数据盘被占满的情况。 问题现象 客户连接Spark的JDBCServer服务提交spark-sql任
恢复CDL业务数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对CDL进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对CDL进行恢复数据操作。 CDL的元数据存储在DBServi
数组 ARRAY_ELEM 通过下标访问数组。 ARRAY_ELEM(ARRAY[1,2,3], 1) ARRAY_PREPEND 指定位置插入数据到数组。 ARRAY_APPEND(ARRAY[1,2,3], 4) ARRAY_CAT 连接数组。 ARRAY_CAT(ARRAY[1
HetuEngine依赖的组件 名称 描述 HDFS Hadoop分布式文件系统（Hadoop Distributed File System），提供高吞吐量的数据访问，适合大规模数据集方面的应用。 Hive 建立在Hadoop基础上的开源的数据仓库，提供类似SQL的Hive Query Language
如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。当前用户为准备Hive应用开发用户时增加的开发用户。 人机用户：kinit MRS集群用户 例如: kinit hiveuser 机机用户：kinit -kt <user.keytab路径>
使用客户端安装用户登录安装了客户端的节点，并执行以下命令： cd 客户端安装目录 source bigdata_env source Hudi/component_env kinit 组件业务用户（如果集群未开启Kerberos认证，请跳过该操作） 执行以下命令登录spark-sql命令行：
以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户 执行以下命令获取指定任务的日志信息。
开文件“clickhouse-example.properties”，按需修改表1的参数。 （可选）如果使用机机用户认证，需要参考准备MRS应用开发用户下载该机机用户的user.keytab与krb5.conf认证凭据文件，并将文件上传到样例工程的conf目录下。 父主题： 准备ClickHouse应用开发环境
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
