检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对路径来操作文件，而要使用绝对路径，并且保证所有的HiveServer节点和NodeManager节点上该文件是存在的且omm用户对该文件有相应的权限，才能正常在UDF中操作本地文件。 父主题： Hive常见问题
的"/home/data"目录下。 Miranda,32 Karlie,23 Candice,27 确保其对启动JDBCServer的用户有读写权限。 确保$SPARK_HOME/conf下有"hive-site.xml文件，且根据实际集群情况配置所需要的参数。 示例 <?xml
当HMaster主备倒换操作成功执行时，在HMaster Web UI中也会清除掉“Dead Region Servers”信息。 以防掌控有一些region的主用HMaster突然停止响应，备用的HMaster将会成为新的主用HMaster，同时显示先前主用HMaster变成dead
对路径来操作文件，而要使用绝对路径，并且保证所有的HiveServer节点和NodeManager节点上该文件是存在的且omm用户对该文件有相应的权限，才能正常在UDF中操作本地文件。 父主题： Hive常见问题
直接重启期间，不可新提交任务，正在运行Spark、Flink任务有重试机制不受影响。 直接重启耗时约5分钟。 滚动重启 依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。 Spark/Spark2x
直接重启期间，不可新提交任务，正在运行Spark、Flink任务有重试机制不受影响。 直接重启耗时约5分钟。 滚动重启 依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。 Spark2x
bigdata_env kinit 组件业务用户 hbase shell 执行以下命令在HBase shell交互窗口创建数据表table1，该表有一个列族cf。 create 'table1', 'cf' 执行以下命令插入一条rowkey为1、列名为cid、数据值为123的数据。 put
setBufferTimeout(timeoutMillis); 资源冗余量 Flink任务运行时，建议整个集群的Yarn资源留有一定的余量。比如当前Yarn总体的资源有100Vcore，200GB，则建议Yarn的任务使用90vcore，180GB，保留10%的资源用于当部分节点故障时，任务可以自动重试恢复。
JDBCServer不会共用。JDBCServer重启后会创建新的jarClassLoader，所以需要重新add jar。 添加jar包有两种方式：可以在启动spark-sql的时候添加jar包，如spark-sql --jars /opt/test/two_udfs.jar；
缓冲区大小。 “taskmanager.network.netty.transport”：默认为“nio”方式，表示netty的传输方式，有“nio”和“epoll”两种方式。 父主题： Flink性能调优
JDBCServer不会共用。JDBCServer重启后会创建新的jarClassLoader，所以需要重新add jar。 添加jar包有两种方式：可以在启动spark-sql的时候添加jar包，如spark-sql --jars /opt/test/two_udfs.jar；
Flink Join样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入kafka-clients-*.jar，该jar包可在client目录下获取。
删除集群 功能介绍 数据完成处理分析后或者集群运行异常无法提供服务时可删除集群服务。该接口兼容Sahara。 处于如下状态的集群不允许删除： scaling-out：扩容中 scaling-in：缩容中 starting：启动中 terminating：删除中 terminated：已删除
删除指定集群的标签 功能介绍 删除特定集群的标签。 接口约束 无 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id}/tags/{key} 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
删除数据连接 功能介绍 删除数据连接 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/data-connectors/{connector_id} 表1 路径参数 参数 是否必选 参数类型 描述 connector_id 是 String
参数样例 名称 不能为空，必须唯一。 test spoolDir 待采集的文件所在的目录路径，此参数不能为空。该路径需存在，且对flume运行用户有读写执行权限。 /srv/BigData/hadoop/data1/zb trackerDir flume采集文件信息元数据保存路径。 /s
Decimal Decimal 有符号的定点数，可在加、减和乘法运算过程中保持精度。支持几种写法： Decimal(P, S) Decimal32(S) Decimal64(S) Decimal128(S) 说明： P：精度，有效范围：[1:38]，决定可以有多少个十进制数字（包括分数）。
用户的ficommon组权限。 处理步骤 以root用户登录集群的Master节点。 执行id ${用户名}命令，显示用户组信息，确认是否有“ficommon”组权限。 如果存在“ficommon”组权限，请执行3。如果不存在，请联系技术服务。 用户名为出现HDFS权限设置问题的用户。
partition(p1='b') select col1,col2,col3 from temp_table; 查询test_table表数据，返回结果中列col3有不为NULL的值 select * from test_table where p1='b' 原因分析 在alter table时默认选项为
单击“保存”，根据界面提示保存参数。单击“实例”，勾选所有JDBCServer实例，选择“更多 > 重启实例”，根据界面提示重启JDBCServer实例。 如果关联子查询有多行匹配（>1）, 则会执行异常。 父主题： Spark SQL企业级能力增强
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
