检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用CarbonData前需先创建表，才可在其中加载数据和查询数据。可通过Create Table命令来创建表。该命令支持使用自定义列创建表。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。 命令示例： CREATE TABLE IF NOT EXISTS productdb
使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式，通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据，导入数据时可不创建索引。 列的名称不能包含特殊字符，只能由字母、数字和下划线组成。
使用CarbonData前需先创建表，才可在其中加载数据和查询数据。可通过Create Table命令来创建表。该命令支持使用自定义列创建表。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。 命令示例： CREATE TABLE IF NOT EXISTS productdb
该特性只会清理ZooKeeper的“/flink_base”目录和HDFS的“/flink/recovery”目录下的残留目录，用户自定义修改的目录不会清理。 HDFS中的“checkpoints”目录需用户手动删除，该特性不会删除。 父主题： 管理FlinkServer作业
item的解析结果，提升算子性能。 使用方法 配置Flink作业时，可通过在FlinkServer WebUI的Flink作业开发界面添加自定义参数“table.optimizing.json-value-optimization”为“true”开启JSON_VALUE函数性能优化
该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 // 用户自定义状态 class UDFState extends Serializable{ private var count = 0L // 设置用户自定义状态 def setState(s: Long)
该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 // 用户自定义状态 class UDFState extends Serializable{ private var count = 0L // 设置用户自定义状态 def setState(s: Long)
join算子，提高作业的执行效率。 使用方法 配置Flink作业时，可通过在FlinkServer WebUI的Flink作业开发界面添加自定义参数“table.optimizer.graph-merge-enabled”为“true”开启Lookup算子复用功能，可参考如何创建FlinkServer作业。
eamer提供以下功能： 支持Kafka，DFS多种数据源接入 。 支持管理检查点、回滚和恢复，保证exactly once语义。 支持自定义转换操作。 示例： 准备配置文件kafka-source.properties #hudi配置 hoodie.datasource.write
使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式，通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据。导入数据时可不创建索引。 列的名称不能包含特殊字符，只能由字母、数字和下划线组成。
重启MRS集群组件 添加删除MRS集群组件 修改MRS集群组件配置参数 查看MRS集群已修改的组件配置参数 同步MRS集群组件配置参数 添加MRS组件自定义参数 管理MRS角色实例 管理MRS角色实例组 修改MRS角色实例参数 执行MRS角色实例主备倒换 退服和入服MRS角色实例 切换MRS集群组件Ranger鉴权
在MRS集群启动spark-beeline的命令中如果使用了“--hivevar <VAR_NAME>=<var_value>”选项自定义一个变量，在启动spark-beeline时不会报错，但在SQL语句中用到变量<VAR_NAME>时会报无法解析<VAR_NAME>的错误。
3 4 5 6 7 8 9 10 // 用户自定义状态 class UDFStateScala extends Serializable{ private var count = 0L // 设置用户自定义状态 def setState(s: Long) =
该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 // 用户自定义状态 class UDFState extends Serializable{ private var count = 0L // 设置用户自定义状态 def setState(s: Long)
在左侧的导航列表中选择“JDBCServer2x > 自定义”。在参数“spark.hdfs-site.customized.configs”中添加配置项“dfs.namenode.acls.enabled”，值为“false”。 图1 添加Spark自定义参数 在搜索框中搜索参数“spark.sql
使用Impala操作Kudu表 您可以使用Impala的SQL语法插入、查询、更新和删除Kudu中的数据，作为使用Kudu API构建自定义Kudu应用程序的替代方案。 前提条件 已安装集群完整客户端。例如安装目录为“/opt/Bigdata/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
可以单击上方“语义校验”对输入内容校验，单击“SQL格式化”对SQL语句进行格式化。 作业SQL开发完成后，请参考表1设置基础参数，还可根据需要设置自定义参数，然后单击“保存”。 表1 基础参数 参数名称 参数描述 并行度 并行数量。 算子最大并行度 算子最大的并行度。 JobManager内存（MB）
若当前集群中没有如上两个参数，请在左侧导航选择“JDBCServer > 自定义”，在自定义参数“spark.core-site.customized.configs”中增加如上两个参数，参数值为获取AK/SK和Endpoint信息准备的AK和SK。 图3 自定义添加OBS参数 保存配置并重启Spark服务。
访问。 处理步骤 以root用户登录集群的Master节点。 执行如下命令查看用户自定义配置文件所在父目录的权限。 ll <文件所在路径的父目录路径> 进入NFS盘待访问文件所在目录，修改用户自定义配置文件所在父目录的权限为755。 chmod 755 -R /<文件所在路径的父目录路径>
能获得更多的性能提升。FILTER是用于聚合函数的修饰符，用于限制聚合中使用的值。 【示例】在某些场景下需要从不同维度来统计UV，如Android中的UV，iPhone中的UV，Web中的UV和总UV，这时可能会使用如下CASE WHEN语法。 修改前： SELECT day, COUNT(DISTINCT
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
