一句话总结：所有各种文件格式（文本，exe，视频，图片），物理上来看，都是二进制文件；逻辑上来讲，由于各自的编码方式不同，加上文本文件的历史悠远，就出现了除了文本文件，其他都统一叫做二进制文件。
同理不同话："二进制文件"本来就是一种似是而非的叫法。我们知道,存在有种类繁多的不同类型(格式)的文件,如文本文件,视频文件,图像文件,数据库文件....,文件格式的具体定义取决于应用。不同的文件格式的主要差别之一就是信息的编码不同,而编码总归都是"二进制"的,从这个方面看,所有的都是"二进制文件"。而我们常讲的"二进制文件"并不是这个意思,它是相对于"文本文件"而言的,也就是说,所有非文本文件(即非ASCII编码)都被称为"二进制文件".在这里很容易提出疑问,文本文件只是文件格式的一种,所有格式的文件应该都是平等的,为什么在这里把它单独提出来作为一种特殊的参照呢?原因很简单,那就是无论从应用时间的久远程度还是应用的普遍性上,ASCII编码的文件都是其他格式的文件所不能比拟的。
下面转载自：http://www.cnblogs.com/chio/archive/2008/09/17/1292631.html
一、文本文件与二进制文件的定义
大家都知道计算机的存储在物理上是二进制的，所以文本文件与二进制文件的区别并不是物理上的，而是逻辑上的。这两者只是在编码层次上有差异。
简单来说，文本文件是基于字符编码的文件，常见的编码有ASCII编码，UNICODE编码等等。二进制文件是基于值编码的文件，你可以根据具体应用，指定某个值是什么意思（这样一个过程，可以看作是自定义编码）。
从上面可以看出文本文件基本上是定长编码的，基于字符嘛，每个字符在具体编码中是固定的，ASCII码是8个比特的编码，UNICODE一般占16个比特。而二进制文件可看成是变长编码的，因为是值编码嘛，多少个比特代表一个值，完全由你决定。大家可能对BMP文件比较熟悉，就拿它举例子吧，其头部是较为固定长度的文件头信息，前2字节用来记录文件为BMP格式，接下来的8个字节用来记录文件长度，再接下来的4字节用来记录bmp文件头的长度。。。大家可以看出来了吧，其编码是基于值的（不定长的，2、4、8字节长的值都有），所以BMP是二进制文件。
二、文本文件与二进制文件的存取
文本工具打开一个文件的过程是怎样的呢？拿记事本来说，它首先读取文件物理上所对应的二进制比特流（前面已经说了，存储都是二进制的），然后按照你所选择的解码方式来解释这个流，然后将解释结果显示出来。一般来说，你选取的解码方式会是ASCII码形式（ASCII码的一个字符是８个比特），接下来，它8个比特8个比特地来解释这个文件流。例如对于这么一个文件流"01000000_01000001_01000010_01000011"(下划线'_'，是我为了增强可读性，而手动添加的)，第一个8比特'01000000'按ASCII码来解码的话，所对应的字符是字符'A'，同理其它3个8比特可分别解码为'BCD'，即这个文件流可解释成“ABCD”，然后记事本就将这个“ABCD”显示在屏幕上。
事实上，世界上任何东西要与其他东西通信会话，都存在一个既定的协议，既定的编码。人与人之间通过文字联络，汉字“妈”代表生你的那个人，这就是一种既定的编码。但注意到这样一种情况，汉字“妈”在日本文字里有可能是你生下的那个人，所以当一个中国人Ａ与日本Ｂ之间用“妈”这个字进行交流，出现误解就很正常的。
用记事本打开二进制文件与上面的情况类似。记事本无论打开什么文件都按既定的字符编码工作（如ASCII码），所以当他打开二进制文件时，出现乱码也是很必然的一件事情了，解码和译码不对应嘛。例如文件流'00000000_00000000_00000000_00000001'可能在二进制文件中对应的是一个四字节的整数int 1，在记事本里解释就变成了"NULL_NULL_NULL_SOH"这四个控制符。
文本文件的存储与其读取基本上是个逆过程，不再累述。而二进制文件的存取显然与文本文件的存取差不多，只是编／解码方式不同而已，也不再叙述。
三、文本文件与二进制文件的优缺点
因为文本文件与二进制文件的区别仅仅是编码上不同，所以他们的优缺点就是编码的优缺点，这个找本编码的书来看看就比较清楚了。一般认为，文本文件编码基于字符定长，译码容易些；二进制文件编码是变长的，所以它灵活，存储利用率要高些，译码难一些（不同的二进制文件格式，有不同的译码方式）。关于空间利用率，想想看，二进制文件甚至可以用一个比特来代表一个意思(位操作)，而文本文件任何一个意思至少是一个字符．
很多书上还认为，文本文件的可读性要好些，存储要花费转换时间(读写要编译码)，而二进制文件可读性差，存储不存在转换时间（读写不要编解码，直接写值）．这里的可读性是从软件使用者角度来说的，因为我们用通用的记事本工具就几乎可以浏览所有文本文件，所以说文本文件可读性好；而读写一个具体的二进制文件需要一个具体的文件解码器，所以说二进制文件可读性差，比如读BMP文件，必须用读图软件．而这里的存储转换时间应该是从编程的角度来说的，因为有些操作系统如windows需要对回车换行符进行转换(将'\n'，换成'\r\n'，所以文件读写时，操作系统需要一个一个字符的检查当前字符是不是'\n'或'\r\n').这个在存储转换在Linux操作系统中并不需要，当然，当在两个不同的操作系统上共享文件时，这种存储转换又可能出来(如Linux系统和Windows系统共享文本文件)。
从编程的角度来讲，两种文件我们对待的方式是一样，即都是01码，只是逻辑上对其的解释不一样而已