Testbed

Testbed中的回归基线，不只是保存一份“全部通过”的报告。代码版本、测试用例、预期结果、编译参数和运行环境都要对应起来，少了其中一项，后面重新执行时就可能对不上。处理“Testbed回归基线怎么维护Testbed回归基线更新后结果不一致怎么办”，先判断变化来自代码、测试数据还是环境。别看到结果不同，就直接把新结果覆盖成基线。

函数越长，分支越多，后续修改和测试就越吃力。处理“Testbed函数复杂度怎么统计Testbed函数复杂度超阈值怎么处理”时，先让分析环境与真实构建一致，再看具体是哪项指标超限，不能看到一个红色结果就急着拆代码。

在LDRA Testbed中查看数据流，主要是确认某个变量在哪里定义、被哪些语句修改，又传到了哪些函数。路径中间突然断开时，先别急着判断代码有问题，还要检查分析范围、编译配置和测试覆盖情况。

关于Testbed项目基线怎么建立，以及Testbed基线更新后历史问题怎么对比，它的核心逻辑就是先把当前的代码质量状态给固定下来，然后再利用后续跑出来的报告，和它去进行差异方面的判断。在建立基线之前，配置需要先被稳定下来，明显无效的项也要被清理掉，并且版本信息要被写清楚；而在更新了基线以后，新增的问题、关闭的问题，还有持续遗留的问题，都需要被人员重点地区分开来。

Testbed覆盖率分析在实际操作时，不能简单当成去点击运行报告，因为覆盖率分析是动态验证里的一环，工具首先要针对代码进行插桩或者把测试环境准备好，接着靠着测试用例的运行结果，来算出来哪些语句、分支或者函数被执行到了；在LDRA工具链里面，结构覆盖分析能够看到语句、分支判定还有函数调用这些指标，TBrun也支持过程调用等内容，并且在生成的报告里，能把具体走到的语句和条件都显示出来。

LDRA Testbed的代码覆盖率来自动态分析：工具先对待测代码进行插桩，再在主机、模拟器或目标板上运行测试，最后根据回传的执行数据统计哪些语句、分支和函数真正被执行。处理“Testbed怎么设置代码覆盖率，Testbed代码覆盖率统计不完整如何排查”时，关键是把分析范围、插桩版本和实际运行程序对应起来，否则测试明明执行过，报告里仍可能出现大片未覆盖代码。LDRA支持语句、分支/判定、函数调用以及MC/DC等结构覆盖指标。

在LDRA Testbed中做单元测试时，测试驱动主要由TBrun生成，用来给被测函数传入数据、调用函数并收集实际输出。配置没对上时，常见表现是驱动生成失败、编译不过，或者程序刚运行就停在初始化阶段。处理“Testbed测试驱动怎么配置Testbed测试驱动初始化失败怎么排查”，先确认测试跑在主机、目标板还是仿真器上。环境选错后，再反复修改测试数据，通常也解决不了问题。

对于Testbed调用关系的查看，并不是只把一张图打开就可以了，更重要的是通过这种调用关系，来把各个函数之间的入口、出口以及依赖边界给看清楚。一般情况下，调用关系图是结合着静态分析的结果一起生成的，大家经常用它来理解模块的结构、对函数的依赖进行检查、还有把没测试到的调用路径找出来，另外对覆盖率分析和代码评审也能起到一些辅助作用。

在嵌入式C/C++项目中进行编码规范检查时，团队刚开始配置静态分析工具时常常会碰到两个具体问题，即如何在Testbed工具中导入MISRA规则，以及怎样把检测出的MISRA违规项按等级进行整理。这里面的核心并不是简单地把规则开关打开，而是要把规则版本、检查范围、编译环境以及结果分级这几个方面一起理顺。静态分析工具一般会依据这些类别来组织输出检查结果，这样后续的整改和审查工作就能更加方便。

测试设备一旦开始运转，真正让人头疼的往往不是某一次的结果，而是这些结果散落在日志、报表、脚本平台，还有人工记录的各种地方，testbed结果看板怎么搭建，还有看板上冒出来的指标异常该怎么去解释，核心都是要把测试的状态、执行的结果、设备被谁占着、异常到底是什么原因引起的，还有责任最后有没有闭环，这所有的东西，都给放到同一个观察视角里，让项目经理、测试人员，还有做开发的，都能一眼就看得懂当前的风险在哪里。

在LDRA Testbed的TBrun中，测试用例不仅包含输入值和预期输出，还可能关联全局变量、桩函数、指针数据以及测试序列配置。导入操作本身并不复杂，但如果被测函数接口、编译环境或原测试序列发生变化，就可能出现用例数量正常、部分字段却为空的情况。处理“Testbed怎么导入测试用例，Testbed测试用例导入后数据丢失如何处理”时，应先确认导入文件与当前被测函数是否匹配，再判断缺失的是普通参数、全局数据还是桩函数数据。TBrun本身支持测试用例管理，并可将已建立的测试环境继续用于后续回归测试。

很多嵌入式软件团队在刚开始用静态分析工具的时候，通常都会碰到两个头疼的问题，那就是Testbed编码规范检查怎么开启，以及Testbed编码规范检查结果怎么筛选；这里提到的Testbed软件，一般就是指LDRA Testbed和TBvision相关的工具环境。TBvision这个工具能够让操作人员在源代码的上下文里面去查看违反编码标准的地方，而且还能在这些违规项、源代码以及软件支持的编码标准之间，来回切换着进行查看。

在多人共用的测试台架上，权限的边界一旦没划清楚，就会直接影响到设备的预约、任务的执行、数据的查看，还有环境的维护，testbed的权限分组到底要怎么去划分，还有当权限被改过了以后，为什么它看起来好像还是没有生效，碰到这种事，可不能只是去瞅一眼，那个账号还能不能登得进去就算了，还得去看一看，角色、项目、资源池、执行的队列，还有缓存里的状态，这些东西，是不是都走到一块儿去了，权限要是设计得太粗糙了，那普普通通的测试人员，就有可能会不小心去改动了环境；可要是设计得太细碎了呢，项目真正跑起来的时候，又会被各种各样的申请流程，给死死地卡住，所以，这得照着真实使用时的场景，去把它给划分开。

在测试项目里面，去设置testbed这种设备的预约，还有当预约的时间撞了车，发生了冲突以后要怎么去协调，这件事说到底，其实就是在管一种挺稀缺的资源，不少团队里，像台架、仿真的环境、硬件的板卡、传感器，还有总线这些设备，数量都是很有限的，要是光靠着在群里面发消息，临时去约个时间，就很容易闹出两个人抢同一台设备、测试用的版本对不上、问题刚复现到一半就被人给打断了，这一类的情况，想让预约这件事真正落了地，关键就是要把设备的状态、能用的时间段、该由谁来负责，还有冲突了该怎么处理，这些规矩都给提前定得明明白白的。

在LDRA Testbed里处理静态分析误报，最容易走偏的地方，不是结果太多，而是把“规则本身不适用”“规则需要正式偏离”和“单条结果确实是误报”这三种情况混成一类去压掉。LDRA的公开资料已经把边界说得比较清楚，一方面，像MISRA这类标准里本来就存在部分undecidable规则，静态分析在信息不足时可能出现false-positive或false-negative；另一方面，LDRA工具链又明确支持项目级、团队级和个人级的violation exclusion，以及Deviation Records和Deviation Permits这类合规工件。也就是说，误报处理不是简单点一下忽略，而是先分类，再决定是调规则集、做偏离，还是做单条抑制。

Testbed进行静态分析、动态测试或后续单元测试前，需要先建立与真实代码环境一致的测试工程。Testbed怎么配置测试工程，Testbed测试工程加载失败如何检查，重点是把源文件、头文件、编译器及目标平台等信息配置完整。工程能够被软件打开并不代表配置已经正确，如果源码路径失效、工具链环境变化或工程配置文件不完整，后续分析同样可能无法正常进行。

Testbed报告不是把扫描结果导出来就完事了，评审人员真正看的不单单是有没有违规项、覆盖率是多少，他们还会看这份报告能不能把问题来源、分析范围、规则口径和处理结论都说明白，所以我们在调整报告模板的时候，重点应该放在“证据能不能复查”上面，而不是只把版式做得更整齐，毕竟LDRA工具链本身就覆盖了静态分析、动态分析、单元测试和需求追踪这些内容，而Testbed与TBvision也都是用来进行静态、动态分析以及查看标准符合性结果的。

在完成软件的静态分析以及覆盖率测试工作之后，研究人员通常需要对质量度量结果进行分析。在实际工作中，开发人员可以使用LDRA工具链里面的Testbed和TBvision软件来做静态和动态分析，这些软件能够输出关于质量度量、代码覆盖情况以及标准符合情况的各种图表；同时，TBvision软件还可以计算代码的复杂程度、循环嵌套的层数、函数的数量等各项数据，并把这些数据和提前设置好的合格标准进行对比。

关于“Testbed静态分析怎么配置，Testbed静态分析规则误报怎么处理“，这两个问题不能只看怎么点按钮。Testbed这类静态分析工具，重点是让工具尽量还原项目真实的编译环境，再用合适的规则去检查代码。LDRA工具链本身面向软件质量、标准符合性和自动化验证等场景，静态分析通常会检查代码是否符合选定的编码标准，并在报告中标出不符合项。

在静态分析、动态测试、单元测试，还有回归测试扎堆执行的时候，有一类问题是挺常见的，就是testbed的执行队列要从哪里去看，还有，一旦队列给堵住了，又该先从哪里下手去查，这testbed一旦接上了批量跑的任务，或者是接进了流水线，那队列的状态，就会直接影响到测试的效率，还有报告能不能按时出得来，拿LDRA Testbed这类工具来打个比方，它可以把测试的执行、覆盖率的结果，还有需求的追踪，结合到一块儿去，生成审计要用的材料，而动态测试呢，还有可能牵扯到，在宿主机和真实目标机这两种环境底下，去执行，再把覆盖到的数据给收回来。