python实现一般最小二乘系统辨识方法

问题：

对于一个未知参数的系统，往往需要用到系统辨识的方法，例如对于一个单输入单输出系统：

　　　　　　　　Z(k)+a₁*Z(k-1)+a₂*Z(k-2)=b₁*U(k-1)+b₂*U(k-2)+V(k)

　　　　　　　　其中：V(k)=c₁*v(k)+c₂*v(k-1)+c₃*v(k-3)

输入信号采用四阶幅值为1的M序列，高斯噪声v(k)均值为0，方差为0.1。

假设真值为a1=1.6，a2=0.7,b1=1.0,b2=0.4,c1=1.0,c2=1.6,c3=0.7。需要对以上参数进行辨识。

方法：

一般最小二乘法是系统辨识中最简单的辨识方法之一，其MATLAB实现方法十分简单，我发现网上一大把，所以我决定“翻译”一个python版的一般最小二乘辨识方法供读者参考。

本文用到的库：

import numpy as np
import matplotlib.pyplot as plt
from operator import xor
from numpy.linalg import inv

M序列的产生：

在python中，M序列的产生方法与matlab类似，先产生随机数，然后采用四阶移位寄存器滤波变换，得到我们想要的M序列。

#M序列产生
L=16
#设置M序列周期
#定义初始值
y=np.zeros(L)
u=np.zeros(L)
y1=1
y2=1
y3=1
y4=0
for i in range(0,L):
    x1=xor(y3,y4)  
    x2=y1 
    x3=y2  
    x4=y3 
    y[i]=y4  
    if  y[i]>0.5:
        u[i]=-1  
    else:
        u[i]=1   
    y1=x1
    y2=x2
    y3=x3
    y4=x4     
plt.figure(num=2)
x=np.linspace(0,15,16)
plt.bar(x,u,width=0.1)
plt.title('输入信号M序列')

高斯分布噪声：

这里采用的是random库中的函数，可以看到，我们设置的均值为0，方差为0.1。

 #产生一组16个N(0,1)的高斯分布的随机噪声
 mu=0
 sigma=0.1
 samplenum=16
 n=np.random.normal(mu,sigma,samplenum) 
 plt.figure(num=1)
 plt.plot(n)
 plt.title("高斯分布随机噪声")

 最小二乘辨识程序：

#最小二乘辨识过程
z=np.zeros(16)

for k in range(2,15):   
    z[k]=-1.6*z[k-1]-0.7*z[k-2]+1.0*u[k-1]+0.4*u[k-2]+1.0*n[k]+1.6*n[k-1]+0.7*n[k-2] 
    
plt.figure(num=3) 
plt.bar(x,z,width=0.1)  
plt.title('输出观测值')    

H=np.array([[-z[1],-z[0],u[1],u[0]],[-z[2],-z[1],u[2],u[1]],[-z[3],-z[2],u[3],u[2]],[-z[4],-z[3],u[4],u[3]],[-z[5],-z[4],u[5],u[4]],[-z[6],-z[5],u[6],u[5]],[-z[7],-z[6],u[7],u[6]],[-z[8],-z[7],u[8],u[7]],[-z[9],-z[8],u[9],u[8]],[-z[10],-z[9],u[10],u[9]],[-z[11],-z[10],u[11],u[10]],[-z[12],-z[11],u[12],u[11]],[-z[13],-z[12],u[13],u[12]],[-z[14],-z[13],u[14],u[13]]])
Z=np.array([z[2],z[3],z[4],z[5],z[6],z[7],z[8],z[9],z[10],z[11],z[12],z[13],z[14],z[15]]) 

In_1=np.transpose(H)
In_2=np.dot(In_1,H)
In_3=inv(In_2)
In_4=np.dot(In_3,In_1)
c=np.dot(In_4,Z)

分离参数：

#分离参数并显示
a1=c[0] 
a2=c[1]
b1=c[2]
b2=c[3] 
print("a1的值是：",a1)
print("a2的值是：",a2)
print("b1的值是：",b1)
print("b2的值是：",b2)

注意：

由于在python中plt的库是不支持中文的，所以要加上这些代码，保证输出的图片标题的中文显示正常。

#显示中文字体
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号

结果：

在网上找了半天python画针状图的资料，发现没有。。所以强行用瘦了的柱状图表示针状图了。

总结：

可以看出Python写的系统辨识误差还是有一些的，不过也是受到一般最小二乘参数辨识方法的限制，如果采用递推最小二乘，增广最小二乘等方法可能会进一步提高准确性。笔者尝试过递推最小二乘，但是与MATLAB相比，其代码量大大增加，因此在系统辨识方法上，不建议都用Python来写，MATLAB是个不错的选择。当然，喜欢写python的话，这都不是问题。

代码全文：

# -*- coding: utf-8 -*-
"""
Created on Wed Sep 20 16:11:27 2017
@author: Hangingter
"""
#一般最小二乘辨识

#导入相应科学计算的包
import numpy as np
import matplotlib.pyplot as plt
from operator import xor
from numpy.linalg import inv

#显示中文字体
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
#产生一组16个N(0,1)的高斯分布的随机噪声
mu=0
sigma=0.1
samplenum=16
n=np.random.normal(mu,sigma,samplenum) 
plt.figure(num=1)
plt.plot(n)
plt.title("高斯分布随机噪声")
#M序列产生
L=16
#设置M序列周期
#定义初始值
y=np.zeros(L)
u=np.zeros(L)
y1=1
y2=1
y3=1
y4=0
for i in range(0,L):
    x1=xor(y3,y4)  
    x2=y1 
    x3=y2  
    x4=y3 
    y[i]=y4  
    if  y[i]>0.5:
        u[i]=-1  
    else:
        u[i]=1   
    y1=x1
    y2=x2
    y3=x3
    y4=x4     
plt.figure(num=2)
x=np.linspace(0,15,16)
plt.bar(x,u,width=0.1)
plt.title('输入信号M序列')
#最小二乘辨识过程
z=np.zeros(16)

for k in range(2,15):   
    z[k]=-1.6*z[k-1]-0.7*z[k-2]+1.0*u[k-1]+0.4*u[k-2]+1.0*n[k]+1.6*n[k-1]+0.7*n[k-2] 
    
plt.figure(num=3) 
plt.bar(x,z,width=0.1)  
plt.title('输出观测值')    

H=np.array([[-z[1],-z[0],u[1],u[0]],[-z[2],-z[1],u[2],u[1]],[-z[3],-z[2],u[3],u[2]],[-z[4],-z[3],u[4],u[3]],[-z[5],-z[4],u[5],u[4]],[-z[6],-z[5],u[6],u[5]],[-z[7],-z[6],u[7],u[6]],[-z[8],-z[7],u[8],u[7]],[-z[9],-z[8],u[9],u[8]],[-z[10],-z[9],u[10],u[9]],[-z[11],-z[10],u[11],u[10]],[-z[12],-z[11],u[12],u[11]],[-z[13],-z[12],u[13],u[12]],[-z[14],-z[13],u[14],u[13]]])
Z=np.array([z[2],z[3],z[4],z[5],z[6],z[7],z[8],z[9],z[10],z[11],z[12],z[13],z[14],z[15]]) 

In_1=np.transpose(H)
In_2=np.dot(In_1,H)
In_3=inv(In_2)
In_4=np.dot(In_3,In_1)
c=np.dot(In_4,Z)

#分离参数并显示
a1=c[0] 
a2=c[1]
b1=c[2]
b2=c[3] 
print("a1的值是：",a1)
print("a2的值是：",a2)
print("b1的值是：",b1)
print("b2的值是：",b2)

参考：

MATLAB版的系统辨识一般最小二乘方法：

http://blog.csdn.net/sinat_20265495/article/details/51426537