mabl 使用 AI 将软件测试带入 DevOps 时代
mabl 使用 AI 将软件测试带入 DevOps 时代
创始人访谈
披露: mabl ，ML 驱动的测试自动化服务，之前赞助过黑客 Noon。
今天，我们将了解这家初创公司的状况，并找出是什么让联合创始人&首席执行官 丹·贝尔彻 做他所做的事情。还看了这篇采访的另一半，mabl 联合创始人丹·贝尔彻的创业历程 。
大卫·斯穆克:为什么你的公司现在必须存在？
Dan Belcher: mabl 现在存在是因为软件开发的速度在过去的十年中急剧增加，到了许多团队每天都可以开发有意义的变更的程度，但是 QA 跟不上，所以你要么必须放慢速度，要么牺牲测试和质量。我们的观点是，质量保证的状态阻碍了整个行业的创新，mabl 就是来解决这个问题的。
大卫:所以你从 2017 年 1 月开始。今年你取得了什么成绩？
丹·贝尔彻:哦，这是非常激动人心的一年。一月底，我和我的联合创始人伊西离开了谷歌。我们在二月份开始组建团队，四月份开始写代码。今年最重要的成就是建立了一个世界级的团队。我们从工程开始，现在有 12 个人，而且还在增长，现在我们把注意力转向市场营销。几个月前，我们很幸运地聘请了迈克作为我们的第一位营销主管，他现在就在我的房间里，这个团队将会发展得非常快。
“驱动力”是我们公司的核心价值观之一，我认为这体现在步伐中。我们已经为这个产品工作了大约 10 个月，它被许多公司广泛使用，我们在 alpha 上得到了很好的反馈。mabl 每天测试数百个应用程序，我们是一个在波士顿接近 20 人的团队，我们很高兴能够在 2018 年实现这一目标。
“驱动力”是我们公司的核心价值观之一，我认为这体现在步伐中。"
大卫:在公司、牵引力和产品方面，你们希望在 2018 年实现什么目标？
Dan Belcher:从高层次来说，我们对这个团队感觉非常好，并将在 2018 年继续逐步壮大这个团队。该产品现在正处于我们获得大量反馈的阶段，所以你将看到我们很快开放一个公共测试版，使任何人都可以访问 mabl。然后，我们将全面推出这项服务，并在此基础上进行扩展。重要的是，我们还有一些更困难的问题，我们一直在努力解决这些问题，需要长期的 R&D，我们最终将在今年让用户看到这些问题，因此我们对此感到非常兴奋。
大卫:通过 mabl，她对你的应用程序或网站进行功能测试，然后她学得越多，做得就越多。你能解释一下她的学习逻辑吗？
Dan Belcher:就测试输出而言，这个领域的一个大问题是很难理解什么时候产品被破坏了，什么时候测试被破坏了。这确实很有挑战性，因为大多数测试工具的输出都是原始日志，而且您必须费力地处理所有这些冗长的技术数据。因此， mabl 真正擅长的一件事是处理所有的测试输出，了解这个应用程序的正常情况，以及什么时候出现异常。我们通过从测试输出中构建机器学习模型来实现这一点，并预测应用程序应该如何表现，观察什么时候事情没有按照我们的预测进行。
“这个领域的一个大问题是，很难理解什么时候产品被破坏了，什么时候测试被破坏了。”
我们运行的测试越多，mabl 在预期行为方面就越有信心，所以当我们看到一些不同时，我们可以对此做出反应。mabl 会注意到的一件事是，如果一个页面在一次测试中的加载速度比以往慢得多。也许您更改了一个查询，无意中增加了该页面的加载时间。QA 工程师和其他测试工具可能不会注意到这类事情，但是由于 mabl 一直在观察我们每次运行测试时页面加载时间的正常变化，她对自己的预测越来越有信心。
再比如视觉变化。mabl 在测试的每一步都会截图。随着时间的推移，她不仅能够识别某个部分何时发生变化，还能通过从历史变化中学习来预测哪些变化可能是有意义的。
大卫:随着技术和新产品的发展，很多时候在消除工作岗位和赋予工作人员权力之间有一条细微的界限。mabl 如何节省公司的钱，如何让公司赚钱？
丹·贝尔彻:是的，很好的问题。我们合作的大多数客户都是受速度和创新驱动的。他们想要的是非常迅速地把高质量的产品交付给他们的顾客。mabl 不是为了节省你的成本，而是为了让你更快地创新和迭代。实际上，QA 可以卸下大量日常端到端功能测试的负担，然后他们变得更加主动，专注于定义更多更好的测试场景，执行根本原因分析，致力于安全性、可用性等。
举例来说，我确实参加过多个软件团队，在这些团队中，我们说我们真的希望尽可能地响应(移动用户),但我们从来没有抽出时间来测试响应能力，因为我们只是试图跟上我们核心客户端(如桌面版 Chrome)的发展。如果测试自动化由 mabl 这样的服务来处理，我们将有时间在移动支持上投入更多。
大卫:你在整个网站和产品中称 mabl 为“她”,这对科技行业来说并不常见，因为在这个行业中，许多品牌的化身都是男性。你能分享一下这个选择吗，还有公司名字的由来？
丹·贝尔彻:我们希望 mabl 成为一个角色，因为我们希望人们感觉到他们在邀请另一个成员加入他们的团队，所以我们必须给它一个名字。我们喜欢 mabl 品牌的一点是，它让人放松且友好。这不是一个品牌，声称是一个无所不知的神一样的东西在背景或绿野仙踪，或类似的东西。我们希望 mabl 非常平易近人，乐于助人…还有点意思。这些是我们在定义品牌和想出名字时追求的属性。当然，说 mabl 真的很容易，而且如果你能记得在结尾去掉‘e’也很容易拼写。
“我们希望人们感觉他们在邀请另一个成员加入他们的团队，所以我们必须给它起个名字。”
我们担心人们倾向于将基于人工智能的工具品牌化，以及将基于人工智能的品牌解释为非常复杂和先进。我们不认为自己是一家人工智能公司，我们认为自己是一家测试公司，只是碰巧在后台使用了许多非常复杂的技术，我们认为 mabl 品牌在某种程度上强化了这一点。mabl 的想法真的很简单；它只是一个服务，可以学习软件如何工作，编写一些测试，运行测试，让你知道什么时候有问题。从实现的角度来看，这非常困难，但这不是用户关心的问题。
大卫:是的，我喜欢以客户为中心的方法，因为我确实认为太多的品牌，只使用了一点点人工智能或机器学习，在他们主页的顶部，就像人工智能是这个，机器学习是那个，就像这真的与客户的需求和问题无关……那么，mabl 的最大威胁是什么？
丹·贝尔彻:我们看到两个主要威胁。QA 没有足够时间的一个问题是，我们没有时间投资更好的工作方式。我们谈过的一些公司已经放弃了。他们说，好吧，看，我们试着做测试自动化，我们投资了很多，测试非常脆弱，每次我们改变我们的产品，所有的测试都失败了，所以我们决定改变我们的策略，不做太多的功能或端到端测试，让我们的客户发现错误，我希望我们能告诉人们有更好的方法。
另一个风险是非常相关的。从我们试图解决的技术角度来看，这不是一个简单的问题，而且以前从未有人做过。我们正在将新的机器学习模型应用于 QA，将它们与其他分析工具相结合，以大规模、实时等方式进行。因此，风险在于我们和我们的创新能力；我们能否用一种成千上万的客户都觉得有用的通用方法来解决这个问题？
大卫:你能和你的早期客户谈谈他们在哪里发现了最大的价值，以及你如何改变他们实际的软件开发吗？
Dan Belcher:当你注册时，你把 mabl 指向你的一个应用程序的测试环境，并给她一些证书，就像你雇佣一个名叫 mabl 的新的 QA 人员一样。你会说‘好吧，去看看这个应用，让你自己熟悉它，为了完成这个任务， mabl 会基本上弄清楚如何登录这个应用，然后抓取。因此，我们将访问应用程序中的每个页面，我们将抓取、查看您的 web 应用程序、您的文档、您的营销网站等等。我们构建该功能的原因是，围绕应用程序如何工作来帮助训练这些模型。当我们这样做时，我们也看到了什么是正常的，所以当事情不正常时，我们能够向用户展示真正有用的见解。
例如，我们发现你的整个应用程序、网站、文档等等中的每一个断开的链接。我们发现每一个页面都有一个 JavaScript 错误，当我们运行测试时就会加载这个错误。我们监控页面加载时间，并让客户知道页面加载时间的变化，或者运行测试的变化。我们会发现页面上的视觉差异。
“我们在你的整个应用程序、网站、文档等中找到你的每一个断开的链接。”
因此，我们实际上认为爬行功能是客户价值的很小一部分，但它对用户来说也非常重要，因为他们没有时间去寻找每一个 JavaScript 错误或每一个断开的链接等等。因此，在注册 mabl 的几分钟内，他们就获得了原本看不到的洞察力。
大卫:对他们来说，这听起来是一个非常激动人心的时刻，这么快就能获得这样的价值真是太酷了。
Dan Belcher:有些客户的应用程序有 50，000 或更多的页面，我们会发现这 50，000 个页面中有哪些新的 JavaScript 错误是由最近的版本引入的。你可以想象一个 QA 团队，甚至一个大型的 QA 团队，要花多长时间才能发现这些类型的问题。使用 mabl，这种规模的应用程序只需几个小时。
阅读这篇采访的另一半，mabl 联合创始人丹·贝尔彻的创业历程。