利用pandas自带的函数notnull可以很容易判断某一列是否为null类型,但是如果这一列中某一格为空字符串“”,此时notnull函数会返回True,而一般我们选择非空行并不包括这一点,所以需要把这一类也去掉。
# df为需要筛选的数据框,col为选择非空依赖的列
df = df[(df[col].notnull) & (df[col] != "")]
如果数据来源是MySQL数据库,用sql函数调用的时候也要注意相同的问题。
SELECT col
FROM table
WHERE col IS NOT NULL
AND TRIM(col) <> ''
注:TRIM函数是将去除空格。<>的效果与!=一样。