检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Spark执行Hudi样例程序（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample 创建客户端对象来操作Hudi： String tablePath = args[0];
使用Spark执行Hudi样例程序（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。 创建客户端对象来操作Hudi： String tablePath = args[0];
使用Spark执行Hudi样例程序（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample 创建客户端对象来操作Hudi： String tablePath = args[0];
anager.web.access-control-allow-origin”中添加访问主机的IP地址，可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。
在执行“DriverManager.getConnection”方法获取JDBC连接前，添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长，其中n表示等待服务返回的超时时长，单位为秒，类型为Int，默认为“0”（表示永不超时）。建议根据业务场景，设置为业务所能容忍的最大等待时长。
节点同时运行的进程过多，需要扩展“pid_max”值。 系统环境异常。 处理步骤 扩展pid_max值。 打开MRS集群详情页面，在实时告警列表中，单击此告警。在“告警详情”区域，获取告警所在主机IP地址。 登录告警节点。 执行命令cat /proc/sys/kernel/pid_m
要进行工程配置调整。不同版本IntelliJ IDEA操作略有不同，请以软件界面实际界面提示为准。 将工程中的“src”、“conf”目录添加到源文件路径。 工程导入完成后，在Intellij IDEA的菜单栏选择“File > Project Structure”，在弹出窗口选择“Project
的样例，相关样例介绍请参见HBase应用开发样例工程介绍。 若需要在本地Windows调测HBase样例代码，需参考表1放置各样例项目所需的配置文件、认证文件： 表1 放置各样例项目所需的配置文件/认证文件 样例工程位置 需放置的配置/认证文件 hbase-examples/hbase-example（单集群场景）
/opt/client/Oozie/oozie-client-*/examples/apps/spark2x/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。
Presto > 配置 > 全部配置”。 在搜索框中搜索“ connector-customize”。 添加名为myhive的connector。 在connector-customize中添加配置： myhive.connector.name=hive-hadoop2 myhive.hive
IoTDB管理员权限：具有表1的所有权限。 表1 设置角色 任务场景 角色授权操作 设置IoTDB管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB”，勾选“IoTDB管理员权限”。 设置用户创建存储组的权限 在“配置资源权限”的表格中选择“待操作集群的名称
um]h的格式表示。其中num表示数字。 其中字母的意思如下： * y--年（一年是365天）。 * m--月（一个月是30天）。 * w--周（一周是7天）。 * d--天。 * h--小时。 可以单独使用年，月，周，天或小时，也可以将时间组合。比如，1y2d表示1年零2天或者367天。
ssh private key.”信息，表示ssh密钥生成成功。 执行以下命令将该节点的公钥复制到主管理节点： scp ${HOME}/.ssh/id_rsa.pub oms_ip:${HOME}/.ssh/id_rsa.pub_bak oms_ip表示主管理节点的IP地址。 根据提示输入omm用户密码完成文件复制。
处理步骤 参考“添加租户”章节新建一个队列给oozie使用，也可以直接使用创建MRS集群时生成的launcher-job队列。 在Manager页面选择“集群 > 服务 > Oozie > 配置”，搜索参数“oozie.site.configs”，在值列添加名称“oozie.launcher
在beeline/thriftserver模式下使用非spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。 如果建的是Hive表，将存储类型设为Parquet，从而减少执行INSERT...SELECT语句的时间。 建议使用spark-sql或者在beeline/th
增大内存可以提高读写性能，可以参考参数“hfile.block.cache.size”（见表2）和参数“hbase.regionserver.global.memstore.size”（见表1）的介绍进行设置。 “-XX:NewSize”与“-XX:MaxNewSize”设置相同
um]h的格式表示。其中num表示数字。 其中字母的意思如下： * y--年（一年是365天）。 * m--月（一个月是30天）。 * w--周（一周是7天）。 * d--天。 * h--小时。 可以单独使用年，月，周，天或小时，也可以将时间组合。比如，1y2d表示1年零2天或者367天。
/opt/client/Oozie/oozie-client-*/examples/apps/spark2x/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。
Oozie > 配置 > 全部配置 > 自定义”，在“oozie-site.xml”的配置项中添加参数“oozie.action.max.output.data”，值为“204800”，如下所示： 添加完后，保存并重启Oozie服务。 重新执行Oozie调度作业。 父主题： 使用Oozie
使用Spark执行Hudi样例程序（Python） 使用python写Hudi表 下面代码片段仅为演示，具体代码参见：sparknormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。 插入数据： #insert
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
