• 【转】兼容性测试套件(CTS)框架用户手册


    原文网址:http://blog.sina.com.cn/s/blog_416166e90102v6bi.html

    兼容性测试套件(CTS)框架用户手册

    1、为什么需要兼容性测试(以下称CTS)?

    2、怎么样才能让我的设备变成兼容的。

    2.1、与Android Compatibility Definition文档(以下简称ACD)匹配

    2.2、通过CTS测试

    2.3、提交报告

    3、CTS的工作原理

    3.1、工作流程

    3.2、测试案例类型

    3.3、目前的测试覆盖面

    4、设置和使用CTS

    4.1、配置CTS

    4.2、设置您的设备

    4.3、使用CTS

    4.4、选择CTS计划

    5、 解释一下测试结果

    6、发行说明

    6.1、一般

    6.2、已知问题

    7、附录:CTS控制台命令参考

     

    1、为什么需要兼容性测试(以下称CTS)?

    1、让APP提供更好的用户体验。用户可以选择更多的适合自己设备的APP。让APP更稳定。

    2、让开发者设计更高质量的APP。

    3、通过CTS的设备可以运行Android market。

    另外,CTS是免费的,而且很简单。

    2、怎么样才能让我的设备变成兼容的?

    2.1、与Android Compatibility Definition文档(以下简称ACD)匹配

    先看一下与你的系统版本相匹配的ACD,文档中描述了你需要具备的软件和硬件参数。

    2.2、通过CTS测试

    CTS是开源的测试框架,使用它来测试你的设备是否具备兼容性。

    2.3、提交报告

    你可以把测试结果发送给cts@android.com。当你提交了一个CTS报告时,你还可以要求访问Android Market.我们正在准备专门用途测试和认证的网站和相应服务,好了之后会通知大家的。

    3、CTS的工作原理

     

    CTS主要包含两个组件:

    运行在PC上的测试框架组件。主要用来管理测试用例(test case)的执行。

    运行在设备或模拟器上的测试用例。这些用例用JAVA写成的APK文件。

    3.1、工作流程

    1、可以从源码编译CTS,也可以从网站下载编译好的CTS

    2、安装配置CTS。

    3、把设备连接到PC上。

    4、运行CTS。CTS会把相应的测试用例(也就是一个APK文件)传送到设备上并通过instrumentation运行,然后记录运行结果,最后删除测试用例。

    所有的测试用例执行完毕后,可以参照测试结果重新调整或优化系统。然后继续运行CTS测试。

    5、测试通过以后,你可以把CTS生成的结果(就是result下面那个以测试时间命名的.zip文件)提交给cts@android.com。


    3.2、测试案例类型

    CTS包含下面三种级别:

    1、单元级。测试Android平台上的代码单元。比如,一个java.util.HashMap这样的类。

    2、功能级。多个API组合而成的一个更高级的功能。

    3、程序级。通过运行一个简单的APP来执行一个API集合和Android运行时服务。

    未来版本还会包含下面的类型:

    1、强度测试。测试系统在高CPU运算之下的稳定性。

    2、效率测试。比如每秒渲染的帧数。

     3.3、目前的测试覆盖面

    目前,为了确保兼容,测试用例覆盖了下面的这些范围

    1、Signature

    对每个Android产品,都有一些XML文件来描述所有的公开API。CTS包含了一个工具来检测这些API签名中包含的API是否都在系统中被支持。

    2、Platform

    测试SDK文档中描述的平台API,比如core libraries,Android Application Framework等。要求这些API可以提供:

    正确的类、属性、方法签名、方法行为、错误参数处理方式

    3、Dalvik VM

    专门针对Dalvik Vm的测试。

    4、Platform Data Model

    平台通过ContentProvider提供给开发者使用的数据,比如:Contacts,Browser,Settings等。

    5、Platform Intents

    平台提供的用于核心功能的Intent。

    6、Platform permission

    平台提供的一些重要APP权限

    7、Platform Resources

    simple values,drawables,nine-patch,animations,layouts,styles and themes,loading alternate resources等

    4、设置和使用CTS

     4.1、配置CTS

    注:配置和运行CTS步骤在4.0版本中有更改。

     要运行CTS,请确保你的机器上安装有adb的最新副本。

     要安装ADB,下载并安装Android SDK工具。然后添加SDK平台工具组件。

     确保“adb”是在你的系统路径。

     例如:

    export PATH=$ PATH:/ home/myuser/android-sdk-linux_x86/platform-tools

    4.2、设置您的设备

    CTS只能在用户设备(consumer devices)上执行。

     下面的这些说明很重要,配置不当的话可能导致测试超时或测试失败:

    1、你要测试的设备应运行一个user build(Android 4.0及更高版本)从source.android.com

    2、请参阅http://developer.android.com/tools/device.html来设置您的设备。

    3、在你运行CTS前,请确保你的设备已经烧入了一个user build (Android 4.0及更高版本)。

    4、在运行CTS测试之前还需要通过Settings->Speech Synthesis->Install voice data来下载TTS(Text  to Speech)文件。如果没有安装Android Market的话,需要手动安装。

    5、确保设备有一个SD卡插入且卡是空的。因为CTS可能修改/删除SD卡上的数据。

    6、在设备上做一次恢复出厂设置(Settings->SD Card & phone Storage->Factory data reset)。注意:这会删除设备上的所有用户数据。

    7、确保设备没有处在任何lock pattern之下(取消Settings->Security&location->Require Pattern这个选项)

    8、确保“USB调试”选项被选中(Settings > Developer options > USB debugging)。

    9、请确保” Stay Awake” 被选中(Settings > Developer options > Stay Awake )

    10、确保Settings > Developer options > Allow mock locations被设置为true

    11、确保设备连接到一个正常运作的Wi-Fi网络(设置>WIFI网络)

    12、。确保设备在CTS开始的时候显示主屏幕(按HOME按钮)。

    13、 当一个设备在进行测试,绝不能执行其它任务。

    14、 CTS运行时,不要按任何键,在测试设备上按键或触摸屏幕会干扰测试运行,并可导致测试失败。

    15、设置易访问性测试:

    1、Adb  install  android-cts/repository/testcases/CtsDelegatingAccessibilityService.apk

    2、在设备上,启用Settings > Accessibility > Delegating Accessibility Service

    16、设置设备管理测试:

    1、 Adb  install android-cts/repository/testcases/CtsDeviceAdmin.apk

    2、在设备上,启用Settings > Security > Device Administrators >

    android.deviceadmin.cts.CtsDeviceAdmin* settings

     17、根据下面的说明,使用ADB拷贝CTS媒体文件到您的设备中:

    4.3、使用CTS

    运行一个test plan需要:

    1、确保你至少有一个设备连接到PC上。启动CTS控制台通过运行CTS tradefed脚本,例如

    $  ./ Android-cts/tools/ CTS-tradefed

    2、你可以通过执行start –plan CTS来执行默认的test plan。这个test plan包含所有的测试用例。

    键入list plans来查看repository的测试计划(test plans)列表,键入list packages来查看repository的测试包(test packages)列表。

    通过CTS命令参考或键入help来查看支持命令的完整列表。

    3、或者,您可以在命令行中执行CTSplan使用用CTS  tradefed  run  cts  --plan 

    4、您应该检验控制台上报告的进展和成果。 

    4.4、选择CTS计划

    当前CTS版本中,一共包含下面7个test plan。 

    1、CTS

    包含所有的测试用例,大约会在设备上执行17000个测试。不包含性能测试。

    2、Signature

    包含对所有公开API的签名认证。

    3、Android

    包含对Android平台API的测试。

    4、Java

    包含对Java核心库API的测试。

    5、VM

    包含对Dalvik Vm的测试。

    6、RefApp

    包含对相关应用程序的测试

    7、Performance

    包含对系统性能的测试。

    这些可以通过之前提到的run  CTS命令执行。


    5、 解释一下测试结果

    测试结果被放在:$CTS_ROOT/repository/results/.zip

    在这个ZIP文件中,testResult.xml文件包含了真正的测试结果,用浏览器打开这个文件可以看到下面这样的效果。

    其中,“device information”部分提供了设备和固件的细节(如make,model,firmware build,platform等)和设备的硬件配置(屏幕参数、键盘、屏幕类型等)。

    另外,“test summary”部分提供了test plan的执行细节描述,包含CTS plan name和执行的开始、结束时间。还有测试结果的统计,包含测试通过、失败、超时、不能执行的个数。

    下面的这个表格统计了一个包中的测试用例有多少测试通过。

    这个表格的后面还跟着对执行结果更具体的描述。

    这个报告列出了test package,test suite,test case和执行的测试,还有测试执行的结果:通过、失败、超时、未执行。当测试失败时,可以在XML文件中找到stack trace,为了让执行结果更简洁,这些stack trace没有被包含进来。用文本编辑器查看XML文件,在里面搜索一下标签和标签就可以了。

    6、发行说明

     6.1、一般

    ●注意:在Android4.0版本的CTS测试已经有很大的改变。

    已加入了一些新的特点包括分割CTS测试使其运行在多个并行设备上,以及更快的性能。

    ●本CTS版本包含约17,000测试。

    ●在你开始CTS测试,请确保按照4.2“Setting up your device”来设置。不遵守这些指示可能导致测试超时或失败。

     6.2、已知问题

    7、附录:CTS控制台命令参考

  • 相关阅读:
    switch语句相关
    大根堆的创建过程
    总结Java中线程的状态及多线程的实现方式
    用直接路径(direct-path)insert提升性能的两种方法
    Oracle的日志记录模式
    针对WebLogic Server 12.1.3版本打补丁
    Oracle Service Bus中的线程
    简化调用Web Service
    网络知识收集
    WebLogic MBean Monitor
  • 原文地址:https://www.cnblogs.com/wi100sh/p/4613495.html
Copyright © 2020-2023  润新知