检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量导入Loader作业 操作场景 Loader支持批量导入某个配置文件中的所有作业。 前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在，则会自动先创建该分组。当前用户就是该分组的创建者，拥有该分组的编辑“Jobs Edit”权限。
为什么INSERT INTO CARBON TABLE失败？ 问题 为什么INSERT INTO CARBON TABLE命令无法在日志文件中记录以下信息？ Data load failed due to bad record 回答 在以下场景中，INSERT INTO CARBON
e作业，提交作业之前，首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前，需要提前配置好Oozie客户端，并上传样例配置文件和jar至HDFS指定目录，具体操作请参考Oozie客户端配置说明章节。 操作步骤 准备一个具有对应组件操作权限的用户。 例如：使用admin用户登录FusionInsight
gz”压缩包，并进入“maxwell-XXX”文件夹。 tar -zxvf maxwell-XXX.tar.gz cd maxwell-XXX 配置Maxwell 在maxwell-XXX文件夹下如果有conf目录则配置config.properties文件，配置项说明请参见表1。如果没有c
login.config' is not set 回答 当试图从启用SSL的kafka数据源采集数据时，而安装程序无法读取jars.conf文件及其属性时，可能会发生这种情况。 要解决此问题，需要将所需的属性作为通过Spark提交的命令的一部分传递。如：--files jaas.conf
如果使用keytab登录方式，按3获取keytab文件；如果使用票据方式，则无需获取额外的配置文件。 获取到的keytab文件默认文件名为user.keytab，若用户需要修改，可直接修改文件名，但在提交任务时需要额外上传修改后的文件名作为参数。 获取相关jar包。获取方式如下： 在安装好的HB
IP地址”为MySQL实例IP地址，需要和MRS集群网络互通 。 用户名和密码为登录MySQL的连接用户名和密码。 配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。 分别上传配置文件到Master节点（Coordinator实例所在节点）的“/opt/Bigdata
l/bin/easy_install。 使用对应的easy_install命令，安装dependency_python3.x文件夹下的egg文件，egg文件存在依赖关系，可使用通配符安装，如： “dependency_python3.6”目录： /usr/local/bin/easy_install
l/bin/easy_install。 使用对应的easy_install命令，安装dependency_python3.x文件夹下的egg文件，egg文件存在依赖关系，可使用通配符安装，如： “dependency_python3.6”目录： /usr/local/bin/easy_install
用户user需要使用bulkload功能还需要额外权限。 以下以用户user为例： 参见“批量导入数据”章节举例，以下是一些差异点。 将数据文件目录建在“/tmp”目录下，执行以下命令： hdfs dfs -mkdir /tmp/datadirImport hdfs dfs -put
当用户在distcp命令中使用webhdfs://时，会发生上述异常，是由于集群所使用的HTTP政策为HTTPS，即配置在“hdfs-site.xml”（文件路径为“客户端安装目录/HDFS/hadoop/etc/hadoop”）的“dfs.http.policy”值为“HTTPS_ONLY”。
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql.authorization
hon文件（*.py）即可。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“spark-examples”目录下的“sparksecurity-examples”文件夹中的Scala、Spark
将客户端下的配置文件拷贝到“conf”下，开启Kerberos认证的安全集群下把从5获取的user.keytab和krb5.conf拷贝到的/opt/hive_examples/conf下，未开启Kerberos认证集群可不必拷贝user.keytab和krb5.conf文件。复制${HIVE_HOME}/
习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*.py）即可。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，下载样例工程到本地。
c。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka topic中的角色称为Producer。 Consumer 从Kafka topic中获取消息的角色称为Consumer。
hiveMetaClass, hiveShimClass); // 添加Hive配置文件 config.addResource("hive-site.xml"); // 添加HBase配置文件 Configuration conf = HBaseConfiguration
ssl证书。 登录集群任意节点，进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.0.1/nodeagent/security/cert/subcert/certFile/ 将ca.crt文件下载到本地，以管理员的身份打开cmd。 输入如下命令：
hiveShimClass, thriftType); // 添加Hive配置文件 config.addResource("hive-site.xml"); // 添加HBase配置文件 Configuration conf = HBaseConfiguration
了Map/Reduce任务对应的JVM启动参数。 修改客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中“mapreduce.map.java.opts”和“mapreduce.reduce.java.opts”参数，分别加入调试命令“-a
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
