跳到主要内容
版本:v2.7

数据任务

数据任务​

「错误通知邮件提供错误栈」​

  • 默认勾选:错误通知邮件提供错误栈
  • 勾选后要求每个错误通知邮件包含错误信息和错误栈信息
  • 若用户取消勾选,则要求错误通知邮件只发送错误信息。
  • 保存按钮要求有修改内容后再亮起,并且要求二次确认。

「认证方式」​

(适用于所有的 HDFS、Hive 和 HBase 数据目的地)

  • 注意:
    • 系统只允许支持一个认证方式和认证信息。
    • 当用户使用Kerberos认证后,修改Kerberos认证信息或者切换为其他类型认证方式时,要求删除所有数据目的地为HDFS(或者Hive、HBase)的同步任务,并重启服务,否则,新建的HDFS(或Hive)目的地将无法使用。
  • 提供三个选项:无、LDAP、Kerberos
    • 无:默认选项为「无」
    • LDAP: 选择LDAP,显示三个输入项(与原来HIVE目的地填写内容一致):服务器地址、用户名、密码
    • Kerberos
      • 选择Kerberos,显示:krb5.conf,HDFS 配置、Hive配置、HBase配置

krb5.conf

  • 必填项,提供一个「上传配置文件」入口。
  • 文件格式要求:后缀是conf。
  • 客户在部署了cdh的集群、开启Kerberos后,可以通过「终端」去 /etc/krb5.conf 这个地址找,如果找不到,那就 find / -name krb5.conf。

HDFS配置

  • HDFS Principal
    • 必填项,提供一个输入框。
    • 填写格式为:Service/Hostname@REALM。
    • 必填项,提供一个「上传配置文件」入口。
    • 文件格式要求:后缀是keytab。
    • 在「终端」登录到集群的机器后,通过 find / -name hdfs.keytab 找到该文件。
      *  Namenode Principal
    • 选填项,提供一个输入框。
    • 如果HA,即高可用,则需要填写这个,客户按照自己的配置填写。如果没有开启HA,可以不填。

Hive配置

  • 使用 Hive 目的地的 Kerberos 认证方式时,除 Hive 的配置信息外,需要保证 HDFS 的配置信息填写完整。
  • Hive Principal
    • 选填,提供一个输入框。
    • 提示文案:请输入Hive Principal
    • 填写格式为:Service/Hostname@REALM。
  • Hive Keytab
    • 填写上Hive Principal 之后,需要上传Hive Keytab,提供一个「上传配置文件」入口。
    • 文件格式要求:后缀是keytab
    • 在「终端」登录到集群的机器后,通过 find / -name hive.keytab 找到该文件

HBase配置

  • 使用 HBase目的地的 Kerberos 认证方式时,需要把 HBase的配置信息填写完整。
  • HBase Principal
    • 选填,提供一个输入框。
    • 提示文案:请输入HBase Principal
    • 填写格式为:Service/Hostname@REALM。
  • HBase Keytab
    • 填写上HBase Principal 之后,需要上传HBase Keytab,提供一个「上传配置文件」入口。
    • 文件格式要求:后缀是keytab
    • 在「终端」登录到集群的机器后,通过 find / -name hbase.keytab 找到该文件

查看KDC上的principal的方法​

  1. 登录管理KDC服务器
# kadmin.local


2. 查看用户列表

# listprincs


可以查看到hdfs、hive、hbase的principal。

  1. 导出用户keytab文件(并且不要修改密码)
# xst -k admin.keytab -norandkey admin/admin@EXAMPLE.COM

「admin.keytab」表示导出的文件名,「admin/admin@EXAMPLE.COM」替换为查询到的principal。
导出文件存储在当前目录下。

验证HDFS Principal的方法​

# kinit -kt /root/hdfs.keytab hdfs/kcdh01@DP.COM
# klist


「/root/hdfs.keytab」表示keytab文件及路径,「hdfs/kcdh01@DP.COM」表示hdfs principal。该语句执行成功代表验证正确。

查看namenode principal的方法​

在hdfs-site.xml 查看:
image.png
填写对应的「hdfs/_HOST@CDH.COM」

查看hive principal的方法​

在hive-site.xml 中查看:
image.png
hive principal对应图中2的内容,其中「_HOST」需要替换为1中的内容。