當(dāng)前位置: 首頁 > 培訓(xùn)動態(tài) > 編程資訊 > 新聞內(nèi)容

大規(guī)模 GUI的機器學(xué)習(xí)

編輯： 哈爾濱童程童美少兒編程培訓(xùn)南崗校區(qū) 更新時間：2024/10/25 16:02 瀏覽10次

學(xué)費10000-25000元，平均每堂課200-300元，為每個學(xué)生提供經(jīng)濟實惠的編程教育?；ヂ?lián)網(wǎng)上對學(xué)校學(xué)術(shù)實力的好評如潮，機構(gòu)介紹清晰透明，師資團隊備受認(rèn)可，多元化教學(xué)項目滿足不同學(xué)生需求，以學(xué)生成績和學(xué)習(xí)效果為導(dǎo)向，獲得學(xué)員家長高度評價。

想象一下，如果您可以對 ChatGPT 說：“嘗試一下我的應(yīng)用程序 5 分鐘，然后讓我知道您對入門體驗的看法。” 或者，如果您可以提出諸如...我的 iOS 應(yīng)用程序的 GUI 遵循常見做法嗎？可以訪問嗎？在同一屏幕上使用這些特定 UI 控件的應(yīng)用程序示例有哪些？

如果我們擁有豐富的應(yīng)用程序 GUI 數(shù)據(jù)庫和正確的 ML 模型，那么我們就可以回答這些問題并構(gòu)建一個“理解”GUI 的視覺和交互設(shè)計的副駕駛工具，而不僅僅是代碼！

人們曾多次嘗試建立 GUI 數(shù)據(jù)庫。不過，他們中的大多數(shù)人都是通過分析應(yīng)用程序的源代碼或字節(jié)碼靜態(tài)地完成此操作的。這有各種各樣的限制：需要代碼，只能分析視圖層次結(jié)構(gòu)，并忽略運行時生成的復(fù)雜 UI（例如在畫布上繪圖）的任何內(nèi)容。許多還需要人工貼標(biāo)簽。

UIST'17 上有一篇論文在此類數(shù)據(jù)庫方面取得了巨大進展： Rico： Deka 等人的用于構(gòu)建數(shù)據(jù)驅(qū)動設(shè)計應(yīng)用程序的移動應(yīng)用程序數(shù)據(jù)集。（ACM）。

他們的系統(tǒng)自動運行許多很多 Android 應(yīng)用程序，并引發(fā)眾包工作者的互動。他們從 9,700 個應(yīng)用程序中收集了 72,000 個界面。然后，他們使用這些數(shù)據(jù)來訓(xùn)練編碼模型，以學(xué)習(xí) UI 布局的嵌入。它可用于搜索 UI：

然后在 FSE'21 上，Frontmatter：大規(guī)模挖掘 Android 用戶界面，作者：Kuznetsov 等人。（ACM）使該研究領(lǐng)域向前邁出了一大步。他們貢獻了一個 GUI 數(shù)據(jù)的公共數(shù)據(jù)集，該數(shù)據(jù)集是從 160,000 個 Android 應(yīng)用程序中進行靜態(tài)分析的，人工標(biāo)記。

較近，Wu 等人提出了“永無止境的用戶界面學(xué)習(xí)” 。( ACM ) 發(fā)表于 UIST'23。他們設(shè)計了一個應(yīng)用程序爬蟲，可以從 Apple 應(yīng)用商店安裝真實的應(yīng)用程序，并對其進行爬行以了解 UI。它使用不同的啟發(fā)式方法與 UI 元素交互，以在爬行時更新其機器學(xué)習(xí)模型。

例如，它截取屏幕截圖，使用現(xiàn)有模型來識別 UI 元素，然后點擊或拖動它認(rèn)為可以與之交互的元素，并根據(jù)效果更新模型以了解該元素是可點擊的或可拖動。到目前為止，他們已經(jīng)使用一組 iPhone 對 6,000 個應(yīng)用程序執(zhí)行了超過 500,000 次操作。

通過這樣的研究，我們已經(jīng)接近擁有可以像人類一樣測試應(yīng)用程序的人工智能。仍然需要一個決策層來模擬與哪個 UI 元素進行交互。這樣它就可以測試特定的任務(wù)，而不是隨機地進行測試。

幾十年前，Chi 等人。使用信息搜尋理論來準(zhǔn)確預(yù)測用戶將如何瀏覽網(wǎng)頁（請參閱他們的 CHI'01論文）。這種方法應(yīng)用于這些應(yīng)用程序收集的標(biāo)準(zhǔn)用戶數(shù)據(jù)（即查看的屏幕和單擊的帶有時間戳的按鈕），可用于訓(xùn)練 GUI 的決策模型。

那么，誰來構(gòu)建一個支持 GUI 實時推理和交互的副駕駛呢？

本頁面由主體*哈爾濱童程童美少兒編程培訓(xùn)南崗校區(qū)*自行上傳,本網(wǎng)不對該頁面內(nèi)容（包括但不限于文字、圖片）真實性和知識產(chǎn)權(quán)負(fù)責(zé),如有侵權(quán)請聯(lián)系處理刪除qq:16720809  。
微信咨詢

微信掃碼，享更多好課