芯耀
1639
返工常常會讓人感到倦怠，倦怠則容易出錯，如果本身職責(zé)又在于糾錯，是把守產(chǎn)品設(shè)計(jì)完成的最后一道關(guān)，那不管多倦怠，也必須打起十二分精神，這就對開發(fā)者的耐心與細(xì)心提出了極高要求，芯片開發(fā)中的回歸測試就是這種類型工作的代表。
回歸測試耗錢費(fèi)時占用工程資源
回歸測試是指在開發(fā)過程中，為了防止設(shè)計(jì)修改或新引入模塊導(dǎo)致整個設(shè)計(jì)出現(xiàn)錯誤而進(jìn)行的重新測試。
通過回歸測試，開發(fā)者可以確認(rèn)更改或錯誤修復(fù)后的設(shè)計(jì)能正常工作，回歸測試的主要流程是重新執(zhí)行已經(jīng)執(zhí)行過的測試用例，雖然故障可能是全新的，但流程都是舊的，所有待測模塊都是已經(jīng)驗(yàn)證過的，因而調(diào)試起來就不如在模塊化設(shè)計(jì)階段有趣。
更困難的是，回歸測試中遇到故障后的調(diào)試通常需要手動處理。在大芯片開發(fā)過程中，完成簽核與驗(yàn)證代碼的最新變更后，需要進(jìn)行回歸測試來驗(yàn)證設(shè)計(jì)，這時候一次回歸測試出現(xiàn)成百上千個故障的情況很常見，因而回歸測試的工作量往往是越到后面越大。
此時，常規(guī)處理方式是由開發(fā)者手動檢查仿真日志文件，以分析故障出在哪里，開發(fā)者會根據(jù)工具報(bào)告的錯誤類型來對故障進(jìn)行分類，以區(qū)分故障是由設(shè)計(jì)引發(fā)，還是測試平臺引發(fā)，并鎖定故障發(fā)生的范圍（模塊或組件）。故障分類并鎖定范圍后，相關(guān)可疑代碼將提交給對應(yīng)的開發(fā)者來進(jìn)行故障原因分析。
圖1：常規(guī)回歸測試調(diào)試方法（圖源：新思科技）
以上過程是手動的，需要針對失敗的回歸測試中的所有日志進(jìn)行反復(fù)分析，這不僅是對驗(yàn)證工程師經(jīng)驗(yàn)、耐心與體力的巨大考驗(yàn)，也占用了大量的項(xiàng)目時間與開發(fā)資源，而且手動分析和分流，非常容易出錯。
例如，同一個原因?qū)е碌亩鄠€故障分散在日志中的多個段落，則可能會被他們錯誤地分配到不同的故障組（bin），在找到故障的根本原因之前，錯誤分箱將會導(dǎo)致這種同因故障分發(fā)給不同的設(shè)計(jì)或驗(yàn)證工程師來處理，對工程資源造成了不合理地占用。
回歸測試中的故障分析任務(wù)量大、流程繁瑣且容易出錯，因而芯片開發(fā)者都迫切希望有一種更好的方法來管理回歸測試。
人工智能與機(jī)器學(xué)習(xí)是應(yīng)對任務(wù)量大、流程繁瑣的重復(fù)性工作的利器，新思科技通過將機(jī)器學(xué)習(xí)引入到回歸測試故障分析中，有效減少了典型回歸測試流程中的手動工作，成倍提升了回歸測試效率，從而打破了回歸測試對芯片開發(fā)工作的瓶頸限制，該解決方案即新思科技Verdi自動調(diào)試系統(tǒng)中的回歸調(diào)試自動化（RDA）模塊。
Verdi RDA破解回歸測試瓶頸
通過整合多種先進(jìn)技術(shù)，Verdi RDA對回歸測試中的日志分析、分箱（按故障特征進(jìn)行分bin）、分流（按設(shè)計(jì)故障與測試平臺故障對故障進(jìn)行分流）和故障根本原因分析（RCA）都實(shí)現(xiàn)了自動化。
圖2：基于機(jī)器學(xué)習(xí)的自動化回歸測試調(diào)試流程
（圖源：新思科技）
以故障分箱為例，Verdi RDA首先收集回歸運(yùn)行的各種日志及數(shù)據(jù)，然后通過專用分析程序?qū)收先罩炯皵?shù)據(jù)進(jìn)行分析，并將故障按特征分到不同組別。
Verdi RDA通過無監(jiān)督機(jī)器學(xué)習(xí)來實(shí)現(xiàn)故障日志分析，故障分箱則依據(jù)基于UVM的信息傳遞、用戶定義的規(guī)則、驗(yàn)證知識產(chǎn)權(quán)（VIP）和基于CPU的設(shè)計(jì)（指令集）分箱，設(shè)置非常簡單，也很容易使用，結(jié)果顯示，Verdi RDA故障分箱準(zhǔn)確率達(dá)到90%，可有效節(jié)約回歸故障分析時間。
故障分類之后，Verdi RDA會根據(jù)故障特征判斷問題是來自被測設(shè)計(jì)（DUT）還是來自仿真測試平臺。
對于任何追溯到設(shè)計(jì)的錯誤，Verdi RDA會自動執(zhí)行根本原因分析（RCA），并向開發(fā)者提供相應(yīng)的報(bào)告，幫助開發(fā)者更容易地確定故障原因。
在RDA提供的報(bào)告中，還會提供具體信號在測試運(yùn)行通過和運(yùn)行失敗之間的相應(yīng)的不同值，從而讓開發(fā)者將調(diào)試工作集中在設(shè)計(jì)的正確部分。
對于測試平臺代碼中的錯誤，Verdi RDA則提供了事物感知調(diào)試功能，并具備在仿真時間線中前后移動的能力，通過這些功能，驗(yàn)證工程師能夠更輕松地確定測試失敗的原因，從而快速將問題解決。
圖3：Verdi RDA流程
（圖源：新思科技）
此外，Verdi RDA還有DUTRCA、XRCA等很多好用的功能，感興趣的讀者可以掃描下面二維碼，獲得新思科技的白皮書《借助機(jī)器學(xué)習(xí)實(shí)現(xiàn)仿真回歸結(jié)果調(diào)試自動化》，以進(jìn)一步了解Verdi RDA的強(qiáng)大能力。
總結(jié)
如前所述，芯片規(guī)模越大，回歸測試的任務(wù)越重，到后期運(yùn)行一次回歸動輒有上千條錯誤對開發(fā)團(tuán)隊(duì)是巨大的考驗(yàn)，手動處理回歸測試越來越占用更多工程資源，越來越難滿足大芯片產(chǎn)品設(shè)計(jì)對開發(fā)周期的要求，將回歸測試調(diào)試過程自動化成為開發(fā)者的迫切需求，因而Verdi RDA的推出適逢其時。
Verdi RDA的自動回歸分箱功能簡易好用，幾乎不需要額外設(shè)置，就能讓驗(yàn)證團(tuán)隊(duì)從數(shù)以千計(jì)的需手動處理的故障分揀任務(wù)中解脫出來，Verdi RDA還能準(zhǔn)確地將設(shè)計(jì)故障與測試平臺故障進(jìn)行分流，并精準(zhǔn)定位錯誤來源，高效地為回歸測試的故障調(diào)試及解決奠定了基礎(chǔ)。
在故障調(diào)試階段，Verdi RDA會自動重新運(yùn)行失敗的測試，并提供可視化功能以加速發(fā)現(xiàn)和修復(fù)錯誤的進(jìn)度。
Verdi RDA對回歸測試效率的提升，已經(jīng)在實(shí)際應(yīng)用中得到了證實(shí)。例如，通過應(yīng)用Verdi RDA，聯(lián)發(fā)科將回歸測試效率提升了4倍，大幅縮減了回歸測試所需的時間。將回歸測試耗時減少為原來的四到五分之一，對一顆大型芯片的開發(fā)來說，或?qū)⒁馕吨鴶?shù)百萬到數(shù)千萬美元開發(fā)費(fèi)用的節(jié)省。
