最近一直做物联网方面的开发,以下内容关于使用MQTT过程中遇到问题的记录以及需要掌握的机制原理,主要讲解理论。
背景
MQTT是IBM开发的一个即时通讯协议。MQTT构建于TCP/IP协议上,面向M2M和物联网IoT的连接协议,采用轻量级发布和订阅消息传输机制。Mosquitto是一款实现了 MQTT v3.1 协议的开源消息代理软件,提供轻量级的,支持发布/订阅的的消息推送模式,使设备对设备之间的短消息通信简单易用。
基本概念
【MQTT协议特点】——相比于RESTful架构的物联网系统,MQTT协议借助消息推送功能,可以更好地实现远程控制。
【MQTT协议角色】——在RESTful架构的物联网系统,包含两个角色客户端和服务器端,而在MQTT协议中包括发布者,代理器(服务器)和订阅者。
- MQTT客户端
一个使用MQTT协议的应用程序或者设备,它总是建立到服务器的网络连接。客户端可以:
发布其他客户端可能会订阅的信息
订阅其它客户端发布的消息
退订或删除应用程序的消息
断开与服务器连接
- MQTT服务器
MQTT服务器以称为“消息代理”(Broker),可以是一个应用程序或一台设备。它是位于消息发布者和订阅者之间,它可以:
接受来自客户的网络连接
接受客户发布的应用信息
处理来自客户端的订阅和退订请求
向订阅的客户转发应用程序消息
【MQTT协议消息】——MQTT中的消息可理解为发布者和订阅者交换的内容(负载),这些消息包含具体的内容,可以被订阅者使用。
【MQTT协议主题】——MQTT中的主题可理解为相同类型或相似类型的消息集合。
iOS库
iOS 选择第三方库-github这个内容相对比较详细,目前我是用的MQTTKIT
MQTT机制原理
以下 内容为,我在使用过程中需要掌握的基本知识要点
-
MQTT基于TCP/IP,支持Qos,轻量级的 machine-to-machine 应用层协议.
-
采用C/S模式,实现发布/订阅机制(publish/subscribe)
-
使用username / password 登录, clientId作为唯一标示符。使用过程中,如果cliendId 重复,会顶掉前一个使用者,另外 还有权限问题。
-
主题
MQTT是通过主题对消息进行分类的,本质上就是一个UTF-8的字符串,不过可以通过反斜杠表示多个层级关系。允许使用通配符订阅主题,但是并不允许使用通配符广播。
主题范例 关于Topic通配符
/:用来表示层次,比如a/b,a/b/c。
'#':表示匹配>=0个层次,比如a/#就匹配a/,a/b,a/b/c。
单独的一个#表示匹配所有。
不允许 a#和a/#/c。
+:表示匹配一个层次,例如a/+匹配a/b,a/c,不匹配a/b/c。
单独的一个+是允许的,a+不允许,a/+/b不允许
- 服务质量QoS
为了满足不同的场景,MQTT支持三种不同级别的服务质量(Quality of Service,QoS)为不同场景提供消息可靠性:
级别0:尽力而为。消息发送者会想尽办法发送消息,但是遇到意外并不会重试。这一级别会发生消息丢失或重复,消息发布依赖于底层TCP/IP网络。即:<=1
级别1:至少一次。消息接收者如果没有知会或者知会本身丢失,消息发送者会再次发送以保证消息接收者至少会收到一次,当然可能造成重复消息。即:>=1
级别2:恰好一次。保证这种语义肯定会减少并发或者增加延时,不过丢失或者重复消息是不可接受的时候,级别2是最合适的。
-
消息体(2个字节)
-
消息类型
-
心跳
Client有责任发送KeepAliveTime时长告诉给Server。在一个时长内,发送PINGREQ,Server发送PINGRES确认。
Server在1.5个时长内未收到PINGREQ,就断开连接。
Client在1个时长内未收到PINGRES,断开连接。
一般来说,时长设置为几个分钟。 -
RETAIN(保持)
仅针对PUBLISH消息。不同值,不同含义:
1:表示发送的消息需要一直持久保存(不受服务器重启影响),不但要发送给当前的订阅者,并且以后新来的订阅了此Topic name的订阅者会马上得到推送。
备注:新来乍到的订阅者,只会取出最新的一个RETAIN flag = 1的消息推送。
0:仅仅为当前订阅者推送此消息。
优势
设计思想是开源、可靠、轻巧、简单,MQTT的传输格式非常精小,最小的数据包只有2个比特,且无应用消息头。MQTT可以保证消息的可靠性,它包括三种不同的服务质量(最多只传一次、最少被传一次、一次且只传一次),如果客户端意外掉线,可以使用“遗愿”发布一条消息,同时支持持久订阅。MQTT在物联网以及移动应用中的优势有:
-
可靠传输。MQTT可以保证消息可靠安全的传输,并可以与企业应用简易集成。
-
消息推送。支持消息实时通知、丰富的推送内容、灵活的Pub-Sub以及消息存储和过滤。
-
低带宽、低耗能、低成本。占用移动应用程序带宽小,并且带宽利用率高,耗电量较少。
参考文档
作者:践行者
链接:http://www.jianshu.com/p/93d80dd50410
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
MQTT简介
MQTT(Message Queuing Telemetry Transport,消息队列遥测传输)是IBM开发的一个即时通讯协议。它的设计思想是轻巧、开放、简单、规范,因此易于实现。这些特点使得它对很多场景来说都是很好的选择,包括受限的环境如机器与机器的通信(M2M)以及物联网环境(IoT),这些场景要求很小的代码封装或者网络带宽非常昂贵。
MQTT协议是为大量计算能力有限,且工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的协议,它具有以下主要的几项特性:
- 使用发布(Publish)/订阅/(Subscribe)消息模式,提供一对多的消息发布,解除应用程序耦合
- 对负载内容屏蔽的消息传输
- 使用TCP/IP提供网络连接
- 有三种消息发布服务质量
- “至多一次”,消息发布完全依赖底层 TCP/IP 网络。会发生消息丢失或重复。这一级别可用于如下情况,环境传感器数据,丢失一次读记录无所谓,因为不久后还会有第二次发送。
- “至少一次”,确保消息到达,但消息重复可能会发生。
- “只有一次”,确保消息到达一次。这一级别可用于如下情况,在计费系统中,消息重复或丢失会导致不正确的结果。
- 小型传输,开销很小(固定长度的头部是 2 字节),协议交换最小化,以降低网络流量
- 使用 Last Will 和 Testament 特性通知有关各方客户端异常中断的机制
简单的说MQTT协议是一个轻量级的即时通讯协议。因为它被运用在一些硬件和网络不太好的环境,所以它对设备的要求不会太高,以适应艰难的环境。同时要保证信息传递的质量,所以有三种发布质量模式(QoS)
它原生条件下是基于TCP/IP的的应用层协议屏蔽了消息传输的具体数据交互格式。也就是不用关心底层是怎么传输的,数据用的是什么格式来传输的在物联网领域(IoT,Internet of Things)未来会有大发展。
MQTT的发展背景
物联网中的数据传输会面临很多问题,比如在网络不稳定的情况下,如果保证数据的传输没有问题,如何保证数据不被重复发送,连接断开后如何进行重连。总体来说,物联网的接入会面临以下几个方面的挑战:
- 设备、传感器。物联网接入对终端采集和控制设备要求高,且终端的改造以及网络费用成本也比较高。另外,其对终端的能耗要求也比较高。
- 网络。现有的网络传输贷款参差不齐,传输网络不稳定。
- 服务器。高并发情况下,多客户端的接入能力以及消息处理能力。
MQTT的发展历史
在物联网中,开源和开放标准是基本的要素。MQTT的发展历史大致如下:
- 1999年,IBM和合作伙伴共同发明了MQTT协议。
- 2004年,org开放了论坛,供大家广泛参与。
- 2011年,IBM建立了Eclipse开源项目Paho,并贡献了代码。Eclipse Paho是MQTT的Java实现版本。
- 2013年,OASIS MQTT技术规范委员会成立。
- 2014年,MQTT正式成为推荐的物联网传输协议标准。
MQTT协议
目前MQTT大家都用在了手机推送,如FacebookMessenger,因为小巧,省电,协议开销小和能高效的向一和多个接收者传递信息,故适用于移动应用设备上。那么轻巧在哪里呢,协议简单,最小的头部只需2个字节。相对于XMPP,MQTT更加轻量级,并且占用用户很少的带宽。整体上协议可拆分为:固定头部+可变头部+消息体
- 第一个byte 用于说明消息体的信息.
- 第二个byte 用于传输我们需要传输的数据.
- 更多详情请看协议 msg-format 部分
MessageType(0和15保留,共占4个字节)
- “MQTT_CONNECT”=>1,//请求连接
- “MQTT_CONNACK”=>2,//请求应答
- “MQTT_PUBLISH”=>3,//发布消息
- “MQTT_PUBACK”=>4,//发布应答
- “MQTT_PUBREC”=>5,//发布已接收,保证传递1
- “MQTT_PUBREL”=>6,//发布释放,保证传递2
- “MQTT_PUBCOMP”=>7,//发布完成,保证传递3
- “MQTT_SUBSCRIBE”=>8,//订阅请求
- “MQTT_SUBACK”=>9,//订阅应答
- “MQTT_UNSUBSCRIBE”=>10,//取消订阅
- “MQTT_UNSUBACK”=>11,//取消订阅应答
- “MQTT_PINGREQ”=>12,//ping请求
- “MQTT_PINGRESP”=>13,//ping响应
- “MQTT_DISCONNECT”=>14//断开连接
DUP flag
用来在保证消息传输可靠的,如果设置为1,则在下面的变长头部里多加MessageId,并需要回复确认,保证消息传输完成,但不能用于检测消息重复发送。
Qos
主要用于PUBLISH(发布态)消息的,保证消息传递的次数。
- 00表示最多一次 即<=1
- 01表示至少一次 即>=1
- 10表示一次,即==1
- 11保留后用
Retain
主要用于PUBLISH(发布态)的消息,表示服务器要保留这次推送的信息,如果有新的订阅者出现,就把这消息推送给它。如果不设那么推送至当前订阅的就释放了。
固定头部的byte 2
是用来保存接下去的变长头部+消息体的总大小的。但可以不直接保存的,同样也是可以扩展,其机制是前7位用于保存长度,后一部用做标识。
我举个例了,即如果计算出后面的大小为0<length<=127的,正常保存;如果是127<length<16383的,则需要二个字节保存了,将第一个字节的最大的一位置1,表示未完。然后第二个字节继续存。
拿130来说,第一个字节存10000011,第二个字节存000000001,也就是0x83,0x01,把两个字节连起来看,第二个字节权重从2的8次开始。同起可以加第3个字节,最多可以加至第4个字节。故MQTT协议最多可以实现268 435 455 (0xFF, 0xFF, 0xFF, 0x7F)将近256M的数据。可谓能伸能缩。
MQTT的使用
MQTT协议的架构,用一个示例说明。比如有1个温度传感器(1个Machine),2个小的显示屏(2个Machine),显示屏要显示温度传感器的温度值。可通过MQTT V3.1 Protocol Specification查阅详细规范的细节。
显示器需要先通过MQTT协议subscribe(订阅)一个比如叫temperature的topic(主题):
当温度传感器publish(发布)温度数据,显示器就可以收到了:
注:以上两张图,取自MQTT and CoAP, IoT Protocols
协议里还有2个主要的角色:
- client,客户端
- broker,服务器端
它们是通过TCP/IP协议连接的。因为MQTT是协议,所以不能拿来直接用的,就好比HTTP协议一样。需要找实现这个协议的库或者服务器来运行。
各种语言的Clients及Brokers/Servers:https://github.com/mqtt/mqtt.github.io/wiki/software?id=software
参考链接
https://www.biaodianfu.com/mqtt.html