python unittest case运行失败重试

unittest原理：https://www.jianshu.com/p/c3fd61ac09e9

因为使用unittest进行管理case的运行。有时case因为偶然因素，会随机的失败。通过重试机制能够补充保持case的稳定性。查阅资料后发现，python的unittest自身无失败重试机制，可以通过以下手段达到目的：1.修改unittest源码，使test case重新运行若干次 2. 对case结果进行处理，单独调度运行失败的case。此篇我们来了解下如何通过修改源码进行失败重试。使用的python版本为2.7。

* 百度上搜索失败重试，找到这个文章。http://blog.csdn.net/hqzxsc2006/article/details/50349664。我尝试了此方法，并对其中部分逻辑进行了修改。后来发现我需要的运行场景中此方法无法满足要求，随放弃了该方法。

1. 调用unittest运行case

def TestSuite(filedirname):
    loader = unittest.TestLoader()
    dir_case = loader.discover(start_dir=config.case_dir, pattern=filedirname, top_level_dir=None)
    return dir_case


if __name__ == '__main__':
    filedirname = 'Test*'  # 需要执行的case
    unittest.TextTestRunner(verbosity=2).run(TestSuite(filedirname))

2. 定位运行case的源码1

　　以上为调用unittest的方法。通过loader.discover扫描指定dir中所有以Test打头的文件，加载所有的case。然后通过unittest.TextTestRunner(verbosity=2).run()方法来运行所有的case。进入 TextTestResult类查看run方法，理解代码后发现：先初始化运行结果result，然后初始化startTestRun，运行test(result)后，处理result里记录的结果。通过加入打印等方式发现，此处的test(result)，将加载的所有case都运行了。所以无法在此处做失败重试。

3. 定位运行case的源码2

　　通过函数定义可看出：TextTestResult.run(self, test)中的test即为：TestSuite(filedirname)函数的返回值。查看TestLoader.discover()函数，发现返回类型为：TestSuite。此类的run方法，即为搜索到的文章所修改的代码处。源码不支持中文，注释中有中文也不行，否则运行case将报错。以下为了写文章方便，使用中文注释。

class TestSuite(BaseTestSuite):
    def run(self, result, debug=False):
        failcount = 1
        class_num = 1
        topLevel = False
        if getattr(result, '_testRunEntered', False) is False:
            result._testRunEntered = topLevel = True

        for test in self:
            case_num = 1
            if result.shouldStop:
                break
            
            success_flag = True
            while success_flag:  
                if _isnotsuite(test):
                    self._tearDownPreviousClass(test, result)
                    self._handleModuleFixture(test, result)
                    self._handleClassSetUp(test, result)
                    result._previousTestClass = test.__class__
                    if (getattr(test.__class__, '_classSetupFailed', False) or
                        getattr(result, '_moduleSetUpFailed', False)):
                        if class_num > failcount:
                            success_flag = False
                        else:
                            time.sleep(5)
                            result._previousTestClass = None
                            print 'Class %s retry time(s) %s'%(test.__class__,class_num)
                            class_num += 1
                        continue
　　　　　　　　　 f,e = map(len, (result.failures, result.errors))  #查看result类得知失败和错误的保存在此
　　　　　　　　　 cntBefore = f + e
                if not debug:
                    test(result)
                else:
                    test.debug()
                
　　　　　　　　　f,e = map(len, (result.failures, result.errors))
　　　　　　　　　cntAfter = f + e　
                if cntAfter > cntBefore:  
                    if case_num > failcount:
                        success_flag = False
                    else:  
                        print 'Test % retry time(s): %s'%(test,case_num)
                        case_num += 1
                else:
                    success_flag = False
                    
        if topLevel:
            self._tearDownPreviousClass(None, result)
            self._handleModuleTearDown(result)
            result._testRunEntered = False
        return result

　　实验中，通过以下方法调用，使用ok：

def suit():
    s = unittest.TestSuite()
    s.addTest(Test_map("test_xxx1"))
    s.addTest(Test_map("test_xxx2"))
    unittest.TextTestRunner().run(s)

if __name__ == '__main__':
    suit()

　　当我以为问题解决时，发现通过1中的unittest.TextTestRunner(verbosity=2).run(TestSuite(filedirname))执行时，即行不通。当case失败时，就一直重试，进入死循环。debug时，发现当return result后，代码再一次进入了test(result)，并且case_num=1，success_flag=True。所以进入循环，无法出来了。为何return后又进入test(result)了呢，我没理解出来....

 3. 定位运行case源代码3

　　继续寻找合适的位置修改代码。debug时发现，TestSuite.run中的test(result)方法，实际上运行的是case.py中的TestCase.run方法。在此处修改也应可以实现重试。run中的其他代码保持不变。

            retryCnt = 0
            retryMax = 3

            success = False
            while (not success) and (retryCnt < retryMax):  #此处加入一个循环
                print "RetryCnt:", retryCnt
                try:
                    self.setUp()
                except SkipTest as e:
                    self._addSkip(result, str(e))
                except KeyboardInterrupt:
                    raise
                except:
                    result.addError(self, sys.exc_info())
                else:
                    try:
                        testMethod()
                    except KeyboardInterrupt:
                        raise
                    except self.failureException:
                        result.addFailure(self, sys.exc_info())
                    except _ExpectedFailure as e:
                        addExpectedFailure = getattr(result, 'addExpectedFailure', None)
                        if addExpectedFailure is not None:
                            addExpectedFailure(self, e.exc_info)
                        else:
                            warnings.warn("TestResult has no addExpectedFailure method, reporting as passes",
                                          RuntimeWarning)
                            result.addSuccess(self)
                    except _UnexpectedSuccess:
                        addUnexpectedSuccess = getattr(result, 'addUnexpectedSuccess', None)
                        if addUnexpectedSuccess is not None:
                            addUnexpectedSuccess(self)
                        else:
                            warnings.warn("TestResult has no addUnexpectedSuccess method, reporting as failures",
                                          RuntimeWarning)
                            result.addFailure(self, sys.exc_info())
                    except SkipTest as e:
                        self._addSkip(result, str(e))
                    except:
                        result.addError(self, sys.exc_info())
                    else:
                        success = True

                    try:
                        self.tearDown()
                    except KeyboardInterrupt:
                        raise
                    except:
                        result.addError(self, sys.exc_info())
                        success = False

                cleanUpSuccess = self.doCleanups()
                success = success and cleanUpSuccess
                if success:
                    result.addSuccess(self)
                else:  #此次为新加入的代码
                    retryCnt += 1
                    print "----run case failed---"        

　　可以看到，基本上只是加入了一个循环和else分支。运行后，得到了与预期基本一致的结果。case A若失败，会重新运行，直到成功。每个case最多运行retryMax次。结果中记录每次运行的结果，如case A运行失败1次，成功1次。