检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持Kafka，DFS多种数据源接入 。 支持管理检查点、回滚和恢复，保证exactly once语义。 支持自定义转换操作。 示例： 准备配置文件kafka-source.properties #hudi配置 hoodie.datasource.write.recordkey.field=id hoodie.datasource
TBLPROPERTIES('SORT_COLUMNS'='column1') 在执行该命令后，新的导入会使用新的SORT_COLUMNS配置值。 用户可以根据查询的情况来调整SORT_COLUMNS，但是不会直接影响旧的数据。所以对历史的segments的查询性能不会受到影响，
例如，参考本例，可以将max.request.size 、max.partition.fetch.bytes配置项设置为“5252880”： // 协议类型:当前支持配置为SASL_PLAINTEXT或者PLAINTEXT props.put(securityProtocol
开发Oozie应用 开发Oozie配置文件 Oozie代码样例说明 通过Java API提交Oozie作业 使用Oozie调度Spark2x访问HBase以及Hive 父主题： Oozie开发指南（安全模式）
ClickHouse多租户管理 ClickHouse多租户介绍 开启ClickHouse租户CPU优先级配置 创建ClickHouse租户 修改ClickHouse服务级别内存限制 父主题： ClickHouse企业级能力增强
准备Hive应用开发环境 准备Hive应用开发和运行环境 导入并配置Hive样例工程 父主题： Hive开发指南（安全模式）
准备HDFS应用开发环境 准备HDFS应用开发和运行环境 导入并配置HDFS样例工程 父主题： HDFS开发指南（普通模式）
准备Storm应用开发环境 准备Storm应用开发和运行环境 导入并配置Storm样例工程 父主题： Storm开发指南（安全模式）
准备HDFS应用开发环境 准备HDFS应用开发和运行环境 导入并配置HDFS样例工程 父主题： HDFS开发指南（普通模式）
调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（普通模式）
将具有完全权限，因为LockFiles文件夹不包含任何敏感数据。 如果使用ACL，确保不要为DDL或DML配置任何被其他进程使用中的路径，建议创建新路径。 以下配置项需要配置路径： 1) carbon.badRecords.location 2) 创建数据库时Db_Path及其他。
将具有完全权限，因为LockFiles文件夹不包含任何敏感数据。 如果使用ACL，确保不要为DDL或DML配置任何被其他进程使用中的路径，建议创建新路径。 以下配置项需要配置路径： 1) carbon.badRecords.location 2) 创建数据库时Db_Path及其他。
准备HBase应用开发环境 准备本地应用开发环境 准备HBase应用开发用户 导入并配置HBase样例工程 父主题： HBase开发指南
管理Kafka Topic 查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题： 使用Kafka
HDFS用户权限管理 创建HDFS权限角色 配置HDFS用户访问HDFS文件权限 父主题： 使用HDFS
main > resources > application.properties”中配置，也可以在样例运行环境上手动编写application.properties文件。没有指定默认值的配置为必选项。 bootstrap.servers：Kafka集群Broker地址列表，格式为ip:port
集群中任何一个队列不能使用待删除资源池为默认资源池，删除资源池前需要先取消默认资源池，请参见配置MRS租户队列。 集群中任何一个队列不能在待删除资源池中配置过资源分布策略，删除资源池前需要先清除策略，请参见清除MRS租户队列配置。 通过管理控制台管理资源池 登录MRS管理控制台。 选择“现有集群”，
样例6：main()方法创建一个job，配置相关依赖，配置相关鉴权信息，提交作业到hadoop集群。 public static void main(String[] args) throws Exception { //加载hiveclient.properties配置文件
况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD.groupByKey(24) 在代码中配置“spark.default.parallelism”设置并行度，优先级次之。 val conf = new SparkConf() conf
All Maven Projects”，进行maven项目依赖import。 图1 reimport projects 编译运行程序。 放置好配置文件，并修改代码匹配登录用户后，文件列表如下图所示。 图2 doris-example待编译目录列表 编译方式有以下两种： 方法一 选择“Maven
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
