谷歌CTS测试cta测试谷歌浏览器google

CTS测试简介

CTS兼容性测试的主要目的和意义在于使得用户在Android系统的应用过程中，有更好的用户体验，并展现出Android系统的优越特性；使得Android应用程序编写者更容易编写高质量的应用程序；充分展现Android Market的优势，让获得CTS认证的终端得到Android Market的使用许可.

测试环境搭建

  1. 测试包下载
    一共有两个包需要下载（Compatibility Test Suite 和Media Files） Google每隔一段时间就会更新Compatibility Test suit测试包，一般公司会有专门的人去下载并共享这两个包，也可自行在
    https://source.android.com/compatibility/cts/downloads.html上下载。Compatibility Test Suite分Android平台，目前最新的是6.0_R8, 而Media Files最新为CTS Media 1.2.

  2. 测试环境搭建
    CTS一般是在linux系统上跑，比如Ubuntu.需正确配置JAVA JDK和Android SDK.
    将CTS测试包解压到/data推荐)目录，新建一个CTS目录，可按版本再细分，比如/data/CTS/6.0/R7,路径名不要有中文或者空格.

  3. 测试前准备工作

    1. 下载需要进行测试的软件版本
    2. 连接IPV6翻墙网络
    3. 插入可用的SD卡，容量最好大于1G
    4. 插入可用的Sim卡，如果为双卡版本，需确保卡一的卡槽有可用的Sim卡.
    5. 写入合法的IMEI号

测试手机配置

  • 手机恢复出厂设置（Settings→Backup and reset→Factory data reset）
  • 确保SD中有足够的空间（大于1G），可将SD格式化清空。
  • 确保手机里没有Google账号或者其他账号存在
  • 确保日期和时间的正确开了Wifi或者数据连接以后会自动更新时间，时区选默认的)
  • 设置屏幕为常亮Settings→Display→Sleep→Never)
  • 设置无锁屏Settings→Security→Set up screen lock→None)
  • 2.1_R2到4.2_R4之前，安装CtsDelegatingAccessibilityService.apk,
    在android-cts/repository/testcases下，可用adb install安装)，并进入Settings→Accessibility开启Delegating Accessibility Service.
  • 安装CtsDeviceAdmin.apk,在android-cts/repository/testcases下，可用adb install CtsDeviceAdmin.apk),并进入Settings→Security→Device administrators开启里面的两个包
  • 将媒体文件android-cts-media-1.2.zip解压出来的文件)拷贝到手机外部SD卡上，可使用脚本拷贝在android-cts-media-1.0目录下执行bash copy_media.sh all)
  • 确保开发者选项中的USB debugging,Stay awake,Allow mock locations三个选项已勾选。
  • 设置系统语言为美式英语Settings→Language &input→Language)
  • 设置系统输入法为谷歌默认输入法
    Settings→Language&input→Default→EnglishUS))
  • 打开Wifi，打开数据连接，打开GPS
  • 确保USB连接稳定
  • 确保测试开始时时在Home界面
  • 测试过程中，不要运行其他任务

执行测试

  • 整体测试

    进入/android-cts/tools,打开终端，用adb devices查看手机是否连上
    这里写图片描述这里写图片描述
    如手机已连上，输入./ cts-tradefed进入测试环境

    注意
    若输入./cts-tradefed后出现如下错误示例为在L版本上测试的) 

yjliu@SWD-LIUYIJUN-D1:/data/CTS/5.0_R2/android-cts/tools$ ./cts-tradefed 
Exception in thread "main" java.lang.UnsupportedClassVersionError: com/android/cts/tradefed/command/CtsConsole : Unsupported major.minor version 51.0

说明是Java版本不匹配，L版本的CTS测试，Java需要1.7，请切换到1.7再测试。

输入测试命令

run cts --plan CTS

即可进行整体测试

整个测试过程持续时间较长，可尽量选在晚上下班之后测试。 测试完成以后自动生成结果报告和Log，结果报告位于android-cts/repository/results目录下，用浏览器打开testResult.xml 即可看到测试结果。Log位于android-cts/repository/logs目录下。

  • 单项测试

    • 单项测试某个方法

      由于整体测试过程中有时候会由于网络差等因素造成某些测试项fail,我们需要对这些fail项进行单独的测试。可通过运行run cts –c CName –m MName进行单项测试CName表示类名，MName表示方法名)
      对某一个fail项进行单项测试可执行如下命令：

      run cts -c libcore.java.net.InetAddressTest -m test_getByname

    • 单项测试某个类
      单独测试某个类 可用命令：run cts –c CName，如下为单独测试StreamingMediaPlayerTest类的命令

      run cts -c StreamingMediaPlayerTest

      注意
      A和B单独测试的时候类名必须写全路径 C：单独测试某个包 可用命令：run cts –p PName，如下为单独测试android.media包的命令

      run cts -p android.media

      单项测试会单独生成一个测试报告，如果想融进整体测试报告中，可将整体报告testResult.xml中的fail的替换成notExecuted。然后运行run cts –continue-session session_ID, session_ID为整体测试的ID，可通过l r查看，如果要将Session 0的fail项融进整体报告

      run cts –continue-session 0

      关于更多命令的用法，使用help查看
      为了排除环境等其他因素的影响，单项测试请至少测试三次

错误分析

1.错误项的分类
测试报告的fail项分为两类：一类是可以waive的，可以waive的项是谷歌自身的原因，经谷歌同意可以不用处理的项。另一类是需要我们分析修复的。 关于可以waive的选项，可以waive的选项一般会有一个表格维护，这个表格会不定时更新，可主动向相关人员索取。

2.常见错误项的分析处理

  • 如果不是google waive项，请查看log,在异常log的附近会有一些相关的信息，看能否找到原因
  • 如果在之前的版本上测试PASS,可定位一下OK版本和fail版本之间的代码提交，进而缩小排除范围
  • 有些时候想在测试包里面加一些LOG信息,可以自行编译工程代码的CTS,用来测试调试。
  • 若实在不能分析，可向平台商如MTK)寻求帮助

提交正式报告注意事项

提交正式报告前需检查一下Root Processes，去掉不必要的信息

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注