大規(guī)模 GUI的機器學(xué)習(xí)

想象一下，如果您可以對 ChatGPT 說：“嘗試一下我的應(yīng)用程序 5 分鐘，然后讓我知道您對入門體驗的看法。” 或者，如果您可以提出諸如...我的 iOS 應(yīng)用程序的 GUI 遵循常見做法嗎？可以訪問嗎？在同一屏幕上使用這些特定 UI 控件的應(yīng)用程序示例有哪些？

如果我們擁有豐富的應(yīng)用程序 GUI 數(shù)據(jù)庫和正確的 ML 模型，那么我們就可以回答這些問題并構(gòu)建一個“理解”GUI 的視覺和交互設(shè)計的副駕駛工具，而不僅僅是代碼！

人們曾多次嘗試建立 GUI 數(shù)據(jù)庫。不過，他們中的大多數(shù)人都是通過分析應(yīng)用程序的源代碼或字節(jié)碼靜態(tài)地完成此操作的。這有各種各樣的限制：需要代碼，只能分析視圖層次結(jié)構(gòu)，并忽略運行時生成的復(fù)雜 UI（例如在畫布上繪圖）的任何內(nèi)容。許多還需要人工貼標(biāo)簽。

UIST'17 上有一篇論文在此類數(shù)據(jù)庫方面取得了巨大進展： Rico： Deka 等人的用于構(gòu)建數(shù)據(jù)驅(qū)動設(shè)計應(yīng)用程序的移動應(yīng)用程序數(shù)據(jù)集。（ACM）。

他們的系統(tǒng)自動運行許多很多 Android 應(yīng)用程序，并引發(fā)眾包工作者的互動。他們從 9,700 個應(yīng)用程序中收集了 72,000 個界面。然后，他們使用這些數(shù)據(jù)來訓(xùn)練編碼模型，以學(xué)習(xí) UI 布局的嵌入。它可用于搜索 UI：

然后在 FSE'21 上，Frontmatter：大規(guī)模挖掘 Android 用戶界面，作者：Kuznetsov 等人。（ACM）使該研究領(lǐng)域向前邁出了一大步。他們貢獻(xiàn)了一個 GUI 數(shù)據(jù)的公共數(shù)據(jù)集，該數(shù)據(jù)集是從 160,000 個 Android 應(yīng)用程序中進行靜態(tài)分析的，人工標(biāo)記。

較近，Wu 等人提出了“永無止境的用戶界面學(xué)習(xí)” 。( ACM ) 發(fā)表于 UIST'23。他們設(shè)計了一個應(yīng)用程序爬蟲，可以從 Apple 應(yīng)用商店安裝真實的應(yīng)用程序，并對其進行爬行以了解 UI。它使用不同的啟發(fā)式方法與 UI 元素交互，以在爬行時更新其機器學(xué)習(xí)模型。

例如，它截取屏幕截圖，使用現(xiàn)有模型來識別 UI 元素，然后點擊或拖動它認(rèn)為可以與之交互的元素，并根據(jù)效果更新模型以了解該元素是可點擊的或可拖動。到目前為止，他們已經(jīng)使用一組 iPhone 對 6,000 個應(yīng)用程序執(zhí)行了超過 500,000 次操作。

通過這樣的研究，我們已經(jīng)接近擁有可以像人類一樣測試應(yīng)用程序的人工智能。仍然需要一個決策層來模擬與哪個 UI 元素進行交互。這樣它就可以測試特定的任務(wù)，而不是隨機地進行測試。

幾十年前，Chi 等人。使用信息搜尋理論來準(zhǔn)確預(yù)測用戶將如何瀏覽網(wǎng)頁（請參閱他們的 CHI'01論文）。這種方法應(yīng)用于這些應(yīng)用程序收集的標(biāo)準(zhǔn)用戶數(shù)據(jù)（即查看的屏幕和單擊的帶有時間戳的按鈕），可用于訓(xùn)練 GUI 的決策模型。

那么，誰來構(gòu)建一個支持 GUI 實時推理和交互的副駕駛呢？