检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
8'); 上述命令所创建的表的详细信息如下: 表1 表信息定义 参数 描述 productSalesTable 待创建的表的名称。该表用于加载数据进行分析。 表名由字母、数字、下划线组成。 productdb 数据库名称。该数据库将与其中的表保持逻辑连接以便于识别和管理。 数据库名称由字母、数字、下划线组成。
e。 Filepath:需要填写文件或目录的绝对路径。 OVERWRITE:如果使用了这个关键字,目标表(或分区)的数据将被删除,并使用文件中读取的数据来替代。 限制 如果要加载数据到指定分区,用户必须在partition子句中列出表的所有字段。 不支持复杂类型数据,比如Array,Map等。
administrator”角色,主组为“hive”。 使用1创建的用户登录FusionInsight Manager(首次登录需要修改密码),选择“集群 > 服务 > Hue”,单击“Hue WebUI”右侧的链接,进入Hue WebUI界面。 在界面左侧导航栏单击 ,选择“W
administrator”角色,主组为“hive”。 使用1创建的用户登录FusionInsight Manager(首次登录需要修改密码),选择“集群 > 服务 > Hue”,单击“Hue WebUI”右侧的链接,进入Hue WebUI界面。 在界面左侧导航栏单击 ,选择“W
如何开发Flume第三方插件 该操作指导用户进行第三方插件二次开发。 本章节适用于MRS 3.x及之后版本。 将自主研发的代码打成jar包。 安装Flume服务端或者客户端,如安装目录为“/opt/flumeclient”。 建立插件目录布局。 进入“Flume客户端安装目录/f
gz”压缩包中的“jars”目录中获取。 用户应用程序的编译依赖包根据代码不同而不同,需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中,例如“$SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用
ty.kerberos.login.keytab :”配置项错误,未进行安全配置。 解决办法 从MRS上下载用户的keytab认证文件,并放置到Flink客户端所在节点的某个目录下。 在“flink-conf.yaml”文件中配置: keytab路径。 security.kerberos
gz”压缩包中的“jars”目录中获取。 用户应用程序的编译依赖包根据代码不同而不同,需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中,例如“$SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用
将SparkLauncher程序和用户应用程序分别生成Jar包,并上传至运行此应用的Spark节点中。 SparkLauncher程序的编译依赖包为spark-launcher_2.10-1.5.1.jar。 用户应用程序的编译依赖包根据代码不同而不同,需用户根据自己编写的代码进行加载。 将运行程序的依赖J
gz”压缩包中的“jars”目录中获取。 用户应用程序的编译依赖包根据代码不同而不同,需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中,例如“$SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用
参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程“hdfs-example-security”。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”文件放到样例工程的“conf”目录下。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ
clean”,双击“clean”运行maven的clean命令。 选择“Maven > clickhouse-examples > Lifecycle > install”,双击“install”运行maven的insatll命令。 图2 maven工具的clean和install 将target目录下的clickhouse-examples-*
不涉及 取值范围: 不涉及 默认取值: 不涉及 arguments String 参数解释: 程序执行的关键参数。 约束限制: 该参数由用户程序内的函数指定,MRS只负责参数的传入。 取值范围: 该参数可为空。 默认取值: 不涉及 hql String 参数解释: HQL脚本语句。
赋Consumer权限命令,由管理员用户操作。 shkafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:2181/kafka > --add --allow-principal User:<用户名> --consumer
赋Consumer权限命令,由管理员用户操作。 shkafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:2181/kafka > --add --allow-principal User:<用户名> --consumer
/flume/flume-用户名-日期-pid-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 日志级别 Flume提供了如表2所示的日志级别。
-1:Terminated表示已终止的作业状态。 2:Running表示运行中的作业状态。 3:Completed表示已完成的作业状态。 4:Abnormal表示异常的作业状态。 默认取值: 不涉及 id 否 String 参数解释: 作业执行对象的编号。 约束限制: 不涉及 取值范围:
如果配置了topology.worker.gc.childopts则服务端参数worker.gc.childopts会被替换。 解决办法 如果想要修改拓扑的JVM参数,可以在命令中直接修改topology.worker.gc.childopts这个参数或者在服务端修改该参数,当topology.worker
Hive在执行join操作,数据量小时会生成MapJoin,执行MapJoin时会生成localtask任务,localtask启动的jvm内存继承了父进程的内存。 当有多个join执行的时候,启动多个localtask,如果机器内存不够,就会导致启动localtask失败。 解决办法 进入Hive服务配置页面:
psert写入小数据量时可能触发更新数据的小文件合并,使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时,insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件,而不是写log。 分区设置操作