类型抽取和序列化
本文翻译自Type Extraction and Serialization
Flink处理类型的方式比较特殊，包括它自己的类型描述，一般类型抽取和类型序列化框架。该文档描述这些概念并解释其机理。
Java API和Scala API处理类型信息的方式有根本性的区别，所以本文描述的问题仅与其中一种API相关
一、Flink中对类型的处理
一般处理类型时，我们并不干涉，而是让编程语言和序列化框架来自动处理类型。与之相反的，Flink想要尽可能掌握进出用户函数的数据类型的信息。
1. 为了可以使用持久化类（POJO）以及通过成员名来grouping/joining，Flink需要数据类型信息来在job被执行前进行检查（拼写错误和类型兼容性）
2. 信息知道得越多，编译器/优化器就可以开发出更好的序列化（serialization）和数据分布模式（data layout scheme）。这对Flink的“memory usage paradigm”是非常重要的（它用于序列化从堆中出入的数据，并使得序列化开销变得十分低）
3. 对于即将推出的逻辑程序（logic program），我们需要这些信息来识别函数的“模式（scheme）”
4. 最后，这些信息使得用户免于考虑序列化框架，以及考虑将类型注册到这些框架中去
二、Flink的TypeInformation类
类TypeInformation是所有类型描述类的基类。它包括了一些类型的基本属性，并可以动过它来生成序列化器（serializer），特殊情况下可以生成类型的比较器。（Note：Flink中的比较器不仅仅是定义大小，它们是处理keys时的基本辅助工具）
Flink对类型做出如下区分：
1. 基本类型：所有Java基本数据类型和对应装箱类型，加上void, String, Date
2. 基本数组和Object数组
3. 复合类型：
a. Flink Java Tuple（Flink Java API的一部分）
b. Scala case 类（包括Scala Tuple）
c. POJO类：遵循类bean模式的类
4. Scala辅助类型（Option，Either，Lists，Maps…）
5. 泛型（Generic）：这些类型将不会由Flink自己序列化，而是借助Kryo来序列化
POJO类支持复杂类型的创建，并且在定义keys时可以使用成员的名字：dataSet.join(another).where("name").equalTo("personName")。同时，POJO类对于运行时是透明的，这使得Flink可以十分高效地处理它们。
POJO类型的规则
当以下条件满足时，Flink将以POJO类型识别一个数据类型，并允许以成员名引用：
1. 该类是public并且独立的（即没有非静态的内部类）
2. 该类拥有一个public的无参数构造函数
3. 该类（以及该类的超类）的成员要么是public的，要么拥有public的符合Java bean对Getter和Setter命名规则的Getter和Setter函数。
三、Scala API中的类型信息
略
四、Java API中的类型信息
Java一般会清除泛型信息。仅对泛型类的子类，由子类存储泛型变量捆绑的类型。
Flink对实现用户函数的（匿名anonymous）类使用反射（reflection）来确定该函数的泛型参数的类型。该逻辑还包含简单的类型推论，用于函数返回的类型由输入类型决定的情况，例如如下的泛型函数：
1 public class AppendOne<T> extends MapFunction<T, Tuple2<T, Long>> 2 { 3 public Tuple2<T, Long> map(T value) 4 { 5 return new Tuple<T, Long>(value, 1L); 6 } 7 }
Flink并不可能在所有情况下都可靠地识别出函数的数据类型。在泛型Lambda表达式（我们试图在Java社区解决这个问题，见下）和泛型变量推断上仍然存在一些问题。
4.1 Java API中的Type Hints
为了帮助Flink无法重建被清除的泛型信息的情况，自版本0.9后提供了type hint的Java API。Type hint通知系统一个函数产生的数据集的类型。下面是一个Type hint的例子：
DataSet<SomeType> result = dataSet .map(new MyGenericNonInferrableFunction<Long, SomeType>()) .returns(SomeType.class);
在本例中，returns语句通过一个类指定了产生的类型。Type hint支持如下几种方法进行类型定义：
1. 类，针对无参数的类型（非泛型）
2. String，语法为returns("Tuple2<Integer, my.SomeType>")，该字符串将被分析并转换为TypeInformation对象
3. 一个TypeInfomation对象
4.2 针对Java 8 Lambda表达式的类型抽取
由于Lambda表达式不涉及继承函数接口的实现类，Java 8 Lambda的类型抽取与非lambda表达式的机理并不相同。
现在，Flink正尝试确定如何实现Lambda表达式，并使用Java的泛型签名（generic signature）来决定参数类型和返回类型。但是，并不是所有的编译器中的签名都是为Lambda表达式生成的（本文写作时该文档仅完全适用在Milestone 2的Eclipse JDT编译器4.5及以前的编译器下）
4.2.1 类型信息对Java Lambda的改善
Flink的提交者之一（Timo Walther）活跃于Eclipse JDT 编译器社区和OpenJDK社区，并向编译器提交了改善类型信息对Java 8 Lambda表达式可用性的补丁。
Eclipse JDT 编译器在版本4.5 M4添加了对该方面的支持，而有关OpenJDK编译器的有关方面正在讨论当中。
4.3 POJO类型的序列化
类PojoTypeInfomation用于创建针对POJO中所有成员的序列化器。Flink自带了针对诸如int，long，String等标准类型的序列化器，对于所有其他的类型，我们交给Kryo处理。
如果Kryo不能处理某类型，则我们可以通过PojoTypeInfo来使用Avro来序列化POJO，为了达成该目的，我们需要调用如下接口：
1 1 final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); 2 2 env.getConfig().enableForceAvro();
注意Flink自动序列化POJO对象，该对象由Avro用Avro序列化器产生。
如果我们想使得整个POJO类型都由Kryo序列化器处理，则我们如下设置：
1 final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); 2 env.getConfig().enableForceKryo();
如果Kryo不能序列化该POJO对象，我们可以添加一个自定义序列化器到Kryo，使用代码如下：
1 env.getConfig().addDefaultKryoSerializer(Class<?> type, Class<? extends Serializer<?>> serializerClass)
这些方法还有许多不同的重载形式可用