让机器进修安排手机GUI,这合理么?

研究背景:图形用户界面(Graphical UserInterface,简称 GUI,又称图形用户接口),为用户和计算机桌面程序,手机类移动端软件,和在线网站提供了可视化的交互方式。安排优秀的GUI颜值在线且简洁易用,吸引大量忠实用户。但即便对经验丰富的GUI安排者,新App与GUI的创作过程也是非常困难且耗费时间的,例如交互流畅、通用、简洁、美观、作风连贯等与安排相关的规则和标准是安排者们需要遵循的。而且为了紧跟时代潮流,不断从其他的资源(如Dribbble)寻找最新最热的安排来获取灵感也为安排者们带来了额外巨大

研究背景:

图形用户界面(Graphical UserInterface,简称 GUI,又称图形用户接口),为用户和计算机桌面程序,手机类移动端软件,和在线网站提供了可视化的交互方式。安排优秀的GUI颜值在线且简洁易用,吸引大量忠实用户。

但即便对经验丰富的GUI安排者,新App与GUI的创作过程也是非常困难且耗费时间的,例如交互流畅、通用、简洁、美观、作风连贯等与安排相关的规则和标准是安排者们需要遵循的。而且为了紧跟时代潮流,不断从其他的资源(如Dribbble)寻找最新最热的安排来获取灵感也为安排者们带来了额外巨大的工作量。

然而,GUI安排职员在公司中的人数有限,如此复杂繁重的GUI安排工作经常需要程序开发职员“顶上”。在一项对超过5700名软件开发者的调查中,51%的人反映他们从事App的GUI安排任务要比其他开发工作多,且每过几天就要参与。

但是软件程序开发者往往缺少足够的专业安排经验与安排审美。所以经常在刚刚起步或小规模的公司中,缺少GUI安排经验的程序开发者们要通过参考网上现有的GUI来规划实现他们自己的GUI安排。

研究动机:

利用现有GUI来安排与开发新GUI已成为了一种常规辅助安排手段,比如常见的UI搜索法子。但是仍存在诸多问题,例如:

(1)由信息差异导致检索到的GUI可能无法满足开发职员的需求;(2)检索到的GUI安排可能会被许多其他开发者采用,导致与其他App高度相似,甚至可能涉及潜在的知识产权问题;(3)一些检索到的GUI安排作风可能已经过时,开发职员很难跟踪GUI安排的最新趋势。

因此,迫切需要一种用于创造性GUI安排天生的自动化法子来减轻新手安排职员和程序开发职员的负担。通过天生的GUI安排,开发职员可以进一步采用自动化GUI代码天生来实现局部流程自动化。这样,整个GUI开发过程将大大简化。

图片图1 机器进修天生的新GUI安排

研究法子:

我们引入了对抗天生模型(GAN),但传统GAN法子天生GUI质量差,且缺乏多样性。为此,我们做出调整,通过复用现有GUI安排中的组成局部而非整个GUI来天生新的样本。

GUI由多个小组件和空间布局组合构成,通过研究和归纳,我们将一个GUI“适当”分解为多个组成局部,例如GUI上部的导航栏,选项栏,或者是一些带有具体图像或文字信息组件。我们以它们为数据基础让模型天生新的GUI。

图片图2 GUI分解为多个组成局部

如何利用这些局部天生新的GUI安排呢?由于它们可被视为一种离散型数据,组成的序列可以用来表示一个新GUI。所以我们参考并采用了一种自然语言处理(NLP)中应对文本序列的法子,并开发了我们的天生模型GUIGAN。

我们将天生一个新的GUI安排视为NLP任务中天生一个新句子,而组成句子的单词就是组成GUI的各个局部和组件。这样,我们让模型像进修单词组句一样进修拼接不同GUI的局部来天生新GUI。

可NLP任务中不论单词或句子形式都比较简单,但GUI图像比文本更复杂,不仅具有颜色,作风等直观特征,并且有内部组成结构的信息。

因此我们让模型也去进修真实GUI样本中的作风特征和结构特征。这样一方面可以增加天生样本多样性,同时让它们具备真实GUI的审美外观与结构特征。

图片图3 “新”GUI由“旧”GUI重新组合而成

GUIGAN:

我们的模型包含一个SiameseNet,一个LSTM天生器,和一个CNN判别器。

SiameseNet用来进修并保存GUI局部的安排作风特征,再根据GUI元数据获取它们的结构信息。

LSTM天生新的序列,序列中的元素即为已有不同GUI的组成局部,它们通过模型的重新组合形成新的GUI安排。

CNN判别器用来给LSTM天生的序列打分,根据天生结果对天生器进行奖惩。

同时,计算天生序列元素的作风特征是否接近,并且结构是否与真实GUI相似,将计算结果加入到整个训练过程中。

图片图4 GUIGAN法子流程图

自动评估试验:

试验数据来自Rico公开数据集,GUIGAN的FID和1-NNA在两个试验数据集上分别比最佳baseline提高了33.63%和11.33%,28.23%和14.18%。

图片

用户评估试验:

5名具有移动端应用开发经验的参与者分别就天生GUI的美观,颜色作风协调性,结构合理性三个方面打分,另外对功能性做出评判。

GUIGAN在三项指标比baseline提高了31.22%、25.00%和34.87%。GUIGAN在功能性上有0.812的平均分,比baseline提高了79.65%。对两个法子的显著性分析也表示了GUIGAN在提升所有指标上的重要作用。

图片

进一步工作:

我们的模型还可以根据未完成的预设局部来补全整个GUI安排,而且天生的最终结果各不相同。未来我们将要拓展这项功能,并且也让用户能够输入更多的条件定制化地天生不同的GUI。

图片

图片图5 给定预设GUI局部(最左列),天生不同结果

图片

原文链接:https://www.computer.org/csdl/proceedings-article/icse/2021/029600a748/1sEXouuzoS4

GitHub: https://github.com/GUIDesignResearch/GUIGAN

原创文章,作者:特邀精选,如若转载,请注明出处:https://www.iaiol.com/news/rang-ji-qi-jin-xiu-an-pai-shou-ji-gui-zhe-he-li-me/

(0)
上一篇 2021年 6月 23日 下午6:01
下一篇 2021年 6月 23日 下午6:55

相关推荐

  • 斯坦福学者让太阳能电池在夜间发电,功率可达50毫瓦/平方米

    研究者表示,他们计划的光伏电池装配可以为 LED 灯或者手机充电。

    2022年 4月 17日
  • 用深度进修解决游览推销员成绩,研究者走到哪一步了?

    最近,针对游览推销员等拉拢优化成绩开发神经网络驱动的求解器引起了学术界的极大兴趣。这篇博文介绍了一个神经拉拢优化步骤,将几个最近提出的模型架构和进修范式统一到一个框架中。透过这一系列步骤,作者分析了深度进修在路由成绩方面的最新进展,并提供了新的方向来启发今后的研究,以创造实际的价值。

    2022年 4月 6日
  • 目睹太多读博惨案之后,清华姚班助理老师写了个读博决策树

    读博之前请三思。对于部分同窗来说,结业当前读博是顺理成章的人生下一步。但在收获知识、荣誉的同时,你大概也要付出很大代价。最近,清华大学姚班助理老师张焕晨的一篇读博劝退文就在知乎上引起了热议。在文章中,他详细列举了读博之前需要三思的一些成绩,并用决策树的方式呈现了出来。在读完文章后,有人认为焕晨老师把读博之路描写得太痛苦了,劝退之味太浓。但焕晨老师表示,他的本意并非劝退,「故意把话说重是为了让各人认真思考」。他看到的现状是:良多特出的同窗都不在「我适不得当读博」这个重要成绩上进行过认真的思考,由此造成了良多「惨案」

    2021年 6月 24日
  • 生物技术初创Lumen与google合作,用机械进修让螺旋藻蛋白消费力翻倍

    编辑/凯霞机械进修可以促进鉴于藻类的生物制剂消费吗?8 月 11 日,西雅图生物技术初创公司 Lumen Bioscience (以下简称「Lumen」)与google宣布合作,将利用机械进修来推进鉴于螺旋藻(一种蓝绿藻)的药物开发。Lumen 表示,该钻研由 Lumen 的信息学负责人 Caitlin Gamble 和google加速科学工程师 Drew Bryant 领导。Lumen 联合创始人 Jim Roberts 说:「google的机械进修和我们鉴于螺旋藻疗法消费的开创性结合,让我们更接近于一种完全优化的步骤,这种步骤可能对全

    2021年 9月 2日
  • 何小鹏:G9是迈向无人驾驭前的最后一代智能车

    作者 / 于雷「G9是豪华车里最智能的,智能车里最豪华的,量产车里充电最快的。智能旗舰SUV的认知,从G9开始我相信会被重新定义。」小鹏汽车CEO何小鹏在G9上市发布会表示。就在今晚(9月21日),小鹏G9正式上市,共推出6款车型,售价区间为30.99万-46.99万元。新车定位为5座中大型SUV,计划于今年10月底开始交付。同时,何小鹏还公布了G9的销量预期:明年会超过Q5的规模,达到月销连续1万辆。用「超快充」解决里程焦虑对于G9,小鹏给出的定位是「超快充全智能SUV」。作为纯电动车型,里程焦虑至今仍是限制使用

    2022年 9月 21日
  • TOG 2020 | 基于骨骼一致性的单目视频人体静止重建

    本文是对 2020 年 9 月发表于计算机图形学顶级期刊 ACM Transactions on Graphics(ToG)的论文《基于骨骼一致性的单目视频人体静止重建(MotioNet: 3D Human Motion Reconstruction from Monocular Video with Skeleton Consistency)》的解读。
    该论文由北京大学与山东大学、北京电影学院、以色列特拉维夫与耶路撒冷大学合作,针对从单目视频中提取人体静止的问题,区别于直接回归枢纽坐标的法子,作者在神经搜集中利用正向静止学,猜测出时序一致的人体骨架及所对应的枢纽扭转,减小了搜集猜测的空间搜索范围,搜集输出的结果也能直接运用于角色动画的驱动。

    2022年 7月 18日
  • 读博五年,我总结出了7条帮你「少走弯路」的真理

    这些经验教训不一定有关学术,但长远来看,将有益于你所接触的任何歇息。

    2021年 12月 31日
  • 508人决战,北大占绝对优势:我们围观了一下2021阿里全球数学比赛决赛真题

    5 大赛道的 25 道决赛试题已正式公布,你都能看懂吗?

    2021年 6月 29日
  • 巴黎出生、加拿大求学,Yoshua Bengio刚刚拿到了法国声誉军团骑士勋章

    Bengio 表示,「法国是我出生和成长的地方,我很高兴能在蒙特利尔接受这枚来自法国的勋章。」

    2022年 3月 8日
  • google并未放弃TensorFlow,将于2023年发布新版,明确四大支柱

    2015 年,google大脑开放了一个名为「TensorFlow」的钻研项目,这款产品迅速流行起来,成为人工智能业界的主流深度进修框架,塑造了现代呆板进修的生态系统。从那时起,成千上万的开源贡献者以及众多的开发人员、社区组织者、钻研人员和教育工作者等都投入到这一开源软件库上。然而七年后的今天,故事的走向已经完全不同:google的 TensorFlow 失去了开发者的拥护。因为 TensorFlow 用户已经开始转向 Meta 推出的另一款框架 PyTorch。众多开发者都认为 TensorFlow 已经输掉了这场战争,并将其比

    2022年 10月 24日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注