检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Loader转换类算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题： Loader算子帮助
Loader输出类算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题： Loader算子帮助
客户端工具说明 使用客户端运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
CarbonData数据分析 新建CarbonData表 删除CarbonData表 修改CarbonData表 加载CarbonData表数据 删除CarbonData表Segments 合并CarbonData表Segments 父主题： 使用CarbonData
HetuEngine常见问题 HetuEngine域名修改后需要做什么 通过客户端启动HetuEngine集群超时如何处理 如何处理HetuEngine数据源丢失问题 如何处理视图拥有者权限不足缺少函数的grant权限 如何处理HetuEngine SQL运行过程中报错Encountered
Oozie常见问题 Oozie定时任务没有准时运行如何处理 HDFS上更新了Oozie的share lib目录但没有生效 Oozie作业执行失败常用排查手段 父主题： 使用Oozie
new SparkContext(master, appName, [SparkHome], [jars]) 参数介绍： master：连接字符串，连接方式有local、yarn-cluster、yarn-client等。 appName：构建的Application名称。 Spar
conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。
参考准备本地应用开发环境将准备好的Python虚拟环境打包，获取“venv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点，将1和2获取的“venv.zip”、“pyflink-kafka.py”和“insertData2kafka.sql”文件上传至客户端环境。
xml”，如果包含“<hadataprotocol value="ssl"></hadataprotocol>”，则已开启SSL。 操作步骤 以omm用户登录到需要还原的DBService节点。 执行以下命令恢复DBService的“hacom_local.xml”配置文件： cd $BIGD
HBase HBase jar包冲突列表 Jar包名称 描述 hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群内的ZooKeeper包“zookeeper*
参考集群内ClickHouseServer节点间数据迁移使用迁移工具时产生的错误日志。 日志级别 ClickHouse提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是error、warning、trace、information、debug，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
t的request/response信息 jetty.out Oozie进程启动日志 oozie_db_temp.log Oozie数据库连接日志 oozie-instrumentation.log Oozie仪表盘日志，主要记录Oozie运行状态，各组件的配置信息 oozie-jpa
t的request/response信息 jetty.out Oozie进程启动日志 oozie_db_temp.log Oozie数据库连接日志 oozie-instrumentation.log Oozie仪表盘日志，主要记录Oozie运行状态，各组件的配置信息 oozie-jpa
“迁入节点主机名”与“迁出节点主机名”只能各填写一个主机名，不支持多节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签，查看当前ClickHouseServer实例所在“主机名称”列获取。 “带宽上限”为可选参数，若不填写则为无上限，最大可设置为10000MB/s。 在选择迁
”，是否会影响上层业务？ 图1 Hive服务状态 答： 集群中服务运行状态为“亚健康”表示服务部分增强功能无法正常工作。 在本示例场景中，登录Manager查看集群其它服务状态，发现HBase服务被停止。当HBase已安装且状态不正常时，Hive、Spark和Loader服务将处于“亚健康”状态。
元数据。 外置数据连接：MRS集群创建完成后，可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的PostgresDB或MySQL数据库或云数据库GaussDB(for MySQL)、也可以选择与当前集群同一虚拟私有云和子网的LakeFormation实例，元数据将存储于关联
bulkload功能提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 例如： 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。 以下以用户user为例： 参见“批量导入数据”章节举例，以下是一些差异点。 将数据文件目录建在“/tmp”目录下，执行以下命令：
代码样例 下面代码片段仅为演示，具体代码参见SparkOnHbaseScalaExample： 样例：创建HBase表 //建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 val conf: SparkConf = new
conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
