检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
over inner join、aggregate over union all等。为应对不同应用场景的特殊需求，对所有下推模块设计开关功能，用户可以自行配置是否应用上述查询下推的增强。 表1 跨源查询增加特性对比 模块 增强前 增强后 aggregate 不支持aggregate下推
输入：需要输出的字段 输出：文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 输出字段 配置输出信息： 位置：配置输出字段的位置。
block大小。 put适合的场景： 每次加载到单个Region的数据大小小于HDFS block大小的一半。 数据需要实时加载。 加载数据过程不会造成用户查询速度急剧下降。 父主题： HBase应用开发常见问题
提供了Java语言的样例工程，包括连接HetuEngine、SQL语句执行、结果解析，断开连接等全流程的样例工程。 开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果 程序运行结果会根据结果解析部分的实现显示到期望显示的地方。
KEYTAB); if(args.length >= 2) { //用户更改了默认的keytab文件名，这里需要将新的keytab文件名通过参数传入 conf.put(Config.ST
运行此样例代码需要设置运行用户，设置运行用户有两种方式，添加环境变量HADOOP_USER_NAME或者修改代码设置运行用户。若在没有修改代码的场景下，执行以下语句添加环境变量： export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举
参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink WebUI，如：flink_admin。并且用户需要添加hadoop、hive、kafkaadmin用户组，以及Manager_administrator角色。 创建作业步骤 使用
在文件大小和入湖速度之间进行权衡，Hudi提供了一个hoodie.parquet.small.file.limit配置来设置最小文件大小。用户可以将该配置设置为“0”，以强制新数据写入新的文件组，或设置为更高的值以确保新数据被“填充”到现有小的文件组中，直到达到指定大小为止，但其会增加摄取延迟。
约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 arguments String 参数解释： 程序执行的关键参数。 约束限制： 该参数由用户程序内的函数指定，MRS只负责参数的传入。 取值范围： 该参数可为空。 默认取值： 不涉及 hql String 参数解释： HQL脚本语句。
Web UI页面看到，该任务由于资源不足导致任务没有被执行，表现出任务卡住的现象。 图1 ResourceManager Web UI页面 建议用户执行analyze table语句时加上noscan，其功能与analyze table hivetable2 compute statistics语句相同，具体命令如下：
Server页面，用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。单击应用ID，页面将跳转到该应用的SparkUI页面。 查看Spark日志获取应用运行情况。 您可以查看Spark日志了解应用运行
提供了Java语言的样例工程，包括连接HetuEngine、SQL语句执行、结果解析，断开连接等全流程的样例工程。 开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果 程序运行结果会根据结果解析部分的实现显示到期望显示的地方。
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。
string, update_time timestamp); 其中user_group是分区列，需要根据已有数据，按更新时间进行排序，刷新用户组信息。操作步骤如下： 在Hive Beeline命令行执行以下命令开启Hive动态分区： set hive.exec.dynamic.partition=true;
when语句），这种情况下，通过codegen生成的Java代码中函数的大小就可能会超过64KB，从而导致编译失败。 规避措施： 当出现上述问题时，用户可以通过关闭钨丝计划，关闭使用codegen的方式来生成Java代码的功能，从而确保语句的正常执行。即在客户端的“spark-defaults
union(env.readTextFile(filePaths[i])); } } // 数据转换，构造整个数据处理的逻辑，计算并得出结果打印出来 unionStream.map(new MapFunction<String
配置HDFS详细参数。 hdfs-site.xml 配置HDFS详细参数。 user.keytab 对于Kerberos安全认证提供HDFS用户信息。 krb5.conf Kerberos server配置信息。 不同集群的“user.keytab”、“krb5.conf”不能共用。
在资源池场景下，假设该集群上有8个节点，通过NodeLabel特性将集群划分为两个资源池，pool A和pool B，其中pool B包含两个节点。用户提交了一个任务App1到pool B，由于HDFS空间不足，App1运行失败，导致pool B的两个节点都被App1的AM加入了黑名单，根
Projects”，进行maven项目依赖import。 图1 reimport projects 编译运行程序。 修改代码匹配的IoTDBServer节点IP、端口、登录用户名和密码。 编译方式有以下两种。 方法一 选择“Maven > 样例工程名称 > Lifecycle > clean”，双击“clean”运行maven的clean命令。
在资源池场景下，假设该集群上有8个节点，通过NodeLabel特性将集群划分为两个资源池，pool A和pool B，其中pool B包含两个节点。用户提交了一个任务App1到pool B，由于HDFS空间不足，App1运行失败，导致pool B的两个节点都被App1的AM加入了黑名单，根
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
