检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表2 输入设置参数 参数名 说明 示例 架构名称 “表方式”模式下存在,数据库模式名。 dbo 表名 “表方式”模式下存在,数据库表名。 test SQL语句 “SQL方式”模式下存在,配置要查询的SQL语句,使Loader可通过SQL语句查询结果并作为导入的数据。SQL语句需要有查询条件“WHERE
表2 输入设置参数 参数名 说明 示例 架构名称 “表方式”模式下存在,数据库模式名。 dbo 表名 “表方式”模式下存在,数据库表名。 test SQL语句 “SQL方式”模式下存在,配置要查询的SQL语句,使Loader可通过SQL语句查询结果并作为导入的数据。SQL语句需要有查询条件“WHERE
为流式系统的最大瓶颈点。 对Kafka的性能调优,有以下几个点: 使用Kafka-0.8.2以后版本,可以使用异步模式的新Producer接口。 配置多个Broker的目录,设置多个IO线程,配置Topic合理的Partition个数。 详情请参见Kafka开源文档中的“性能调优”部分:http://kafka
录。 查询使用以“cn”结尾的邮箱的员工信息。 提交数据分析任务,统计表employees_info中有多少条记录。实现请参见使用JDBC接口提交数据分析任务。 父主题: Hive JDBC访问样例程序
HdfsExample hdfs_examples = new HdfsExample("/user/hdfs-examples", "test.txt"); /** * * 如果程序运行在Linux上,则需要core-site.xml、hdfs-site.xml
(可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。 表3 新建ENV配置参数 参数名称 示例 Name test-env Driver Memory 1GB Type spark Executor Memory 1GB Executor Cores
行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight Manager,选择“运维 > 备份恢复 > 恢复管理”。 单击“创建”。 在“任务名称”填写恢复任务的名称。
为流式系统的最大瓶颈点。 对Kafka的性能调优,有以下几个点: 使用Kafka-0.8.2以后版本,可以使用异步模式的新Producer接口。 配置多个Broker的目录,设置多个IO线程,配置Topic合理的Partition个数。 详情请参见Kafka开源文档中的“性能调优”部分:http://kafka
使用root用户登录ClickHouse客户端节点,创建运行目录,例如“/opt/test”,在IDEA的“target”目录下获取带有“-with-dependencies”的jar包,并将jar包和idea中conf文件夹一同上传到“/opt/test”目录,如: 执行如下命令,配置环境变量并运行jar包:
bigdata.flink.examples.WriteHBase" + " /opt/test.jar --tableName t1 --confDir /tmp/hbaseConf"); System.out.println(
但是当前开源YARN提供的WebUI/RestAPI/JavaAPI等接口上不会根据用户角色进行权限控制,任何用户都有权限访问应用和集群的信息,无法满足多租户场景下的隔离要求。 增强: 安全模式下,对开源YARN提供的WebUI/RestAPI/JavaAPI等接口上进行了权限管理上的增强,支持根据不同的用户角色,进行相应的权限控制。
使用root用户登录ClickHouse客户端节点,创建运行目录,例如“/opt/test”,在IDEA的“target”目录下获取带有“-with-dependencies”的jar包,并将jar包和idea中conf文件夹一同上传到“/opt/test”目录,如: 执行如下命令,配置环境变量并运行jar包:
输出路径 导出文件在HDFS/OBS的输出目录或者文件名。 说明: 路径参数可以使用宏定义,具体请参考配置项中使用宏定义。 /user/test 文件格式 文件导出类型: “TEXT_FILE”:导入文本文件并保存为文本文件。 “SEQUENCE_FILE”:导入文本文件并保存在“sequence
(可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。 表3 新建ENV配置参数 参数名称 示例 Name test-env Driver Memory 1GB Type spark Executor Memory 1GB Executor Cores
导出文件在HDFS/OBS的输出目录或者文件名。 说明: 路径参数可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。 /user/test 文件格式 文件导出类型: “TEXT_FILE”:导入文本文件并保存为文本文件。 “SEQUENCE_FILE”:导入文本文件并保存在“sequence
-e 's/.*--master //'` master=`echo $mode | awk '{print $1}'` case $master in "yarn") deploy=`echo $mode | awk '{print $3}'`
bigdata.flink.examples.WriteHBase" + " /opt/test.jar --tableName t1 --confDir /tmp/hbaseConf"); System.out.println(
--class com.huawei.bigdata.flink.examples.FlinkStreamJavaExample /opt/test.jar --filePath /opt/log1.txt,/opt/log2.txt --windowTime 2");
HdfsExample hdfs_examples = new HdfsExample("/user/hdfs-examples", "test.txt"); /** * * 如果程序运行在Linux上,则需要core-site.xml、hdfs-site.xml的路径修改
--class com.huawei.bigdata.flink.examples.FlinkStreamJavaExample /opt/test.jar --filePath /opt/log1.txt,/opt/log2.txt --windowTime 2");