Archive

Archive for the ‘工作日记’ Category

InfoQ: 让测试也敏捷起来

February 10th, 2010

InfoQ: 让测试也敏捷起来.

我觉得段念讲解的内容是有一定参照价值的。只是敏捷测试的理念,是需要公司文化和工作氛围来共同推动的,自下而上的促进难度可想而知。仅仅从测试工程师的角度来做,任重而道远。

一些要点:

1、敏捷测试是以自动化测试(单元测试、验收测试)、持续集成为前提的,脱离这个,还依赖大量的手工测试,基本属于白扯。

2、开发和测试角色和责任不再那么明确划分甚至对立,测试不再仅仅满足于发现缺陷,而是共同提高产品质量,甚至促进软件开发过程改进。

3、开发负责大量的测试工作(单元测试),这很重要,这才可以从一定程度上提高质量,解放测试,让测试更有精力投放在明确客户需求、探索性测试等工作上面。

admin 工作日记, 随笔

自动化测试之惑

January 4th, 2010

自动化测试,就像是一块大馅饼,每个人都想上来啃一口,但是进嘴了,却发现味道各不同,然后心里就会有了各式各样的迷惑。

1、自动化测试脚本谁来写?

这在过去似乎不是问题,在现在一些公司内也许也不是问题:理应由测试工程师来负责实现代码测试并维护,因为他们更理解产品,更需要从客户端角度来测试,更熟悉测试案例。但问题是种种现实决定了让测试工程师对自动化测试起来显得困难重重。

  • 项目产品复杂度增高,分工很细。老板一般都会倾向于开发工程师尽快地实现代码,然后测试人员扑上去一顿测,鲜有老板愿意投入独立的资源来让测试人员从事自动化测试开发。而且自动化测试在前期的投入比较大,即使这样,也不意味着自动化测试代码易于维护,成为有效资产保留并延用。
  • 快速迭代导致的自动化测试维护难度增大。需求的经常性变更导致代码结构甚至架构上的变化,具体到自动化测试所以来的,就是用户界面和功能经常性的发生变化,如果测试人员和开发者信息不对等(而这一般是常态),测试人员只能拿着自动化测试资产疲于应付,如果本身再不是专职于此,难度可想而知。需要注意的是,即使可以通过一些技术手段来减轻这种快速变化导致的自动化测试难维护性,比如动态识别,但涉及复杂的产品和功能,这样的努力仍然是杯水车薪。
  • 测试工程师的代码能力。这是国内一般的通病,测试工程师的技术能力一般是要比开发者低一个档次甚至更多,这种技术能力的不对等,导致测试工程师难以把握自动化测试的开发和维护,因为那也是软件开发,别无二样。而且在“文人相轻”的技术氛围里面,技能的不对等,也很容易造成信息的不对等。测试人员可以说自己是从用户的角度来使用软件和测试,开发者只需要实现代码并修改缺陷。但现在的软件发展根本不再允许有这样清晰割裂开来的团队合作。
  • 测试案例很多,但覆盖有限,而测试工程师囿于精力无法作探索性测试。这同样同样是资源受限的问题。

需要什么样的人来编写自动化测试呢?所有人都会同意应该由那些真正对产品的理解,对测试案例的理解很精通的的人来负责。结合上述的问题,和现在的状况,开发者在这方面占有足够的优势。

  • 开发者自己的代码模块自己实现,自己也最清楚。需要怎么来测试,有哪些前置条件,会有怎样的输出,从API层到用户界面,自己也可以为自己的自动化测试提供方便,反过来又潜在影响了代码的结构,更加可测。
  • TDD的需要。这是敏捷中很好的实践,也是很难做到的实践。但好处大家都知道。
  • CI(持续集成)来保证。有持续集成,可以保证测试执行的频率,替代掉手工的无聊并可能导致的错误。
  • 测试人员来做其他测试,比如探索性测试,不易实现自动化测试的部分。

2、自动化测试到底难在哪?

有一些问题,在自动化测试实现中,是要考虑的:

  • 实现。难度在于有没有一个很好的测试框架来帮助实现,脚本的复杂度有多高,是不是易于编写并重构,是否方便技能传递。在自动化的测试案例越来越多时,结构能否依然保持足够的清晰性。开发人员的技术能力是否达到了所需的标准。
  • 变化。变化的风险有没有实现被考虑进去,在代码层和逻辑层能缓冲掉这样的变化对已有的代码实现甚至整个代码结构的冲击。
  • 持续投入。自动化测试是需要成本的,尤其在前期,而且也不意味着前期投入够多后来就一定能收获。要投入资源,包括人力、时间、薪水。

3、选择什么测试工具?

这需要依据你要自动化的测试包括哪些,多大的量,多深的技术难度,再行选择。问题是,很多时候,一开始根本对这些一无所知,操起个家伙就开始干,但好歹这样也有吃一堑长一智的机会。我认为在选择工具时,考量的因素包括:

  • 要自动化测试案例量有多少?基于Web的还是桌面应用的,还是纯终端的。当然之前要对目前市面上的工具有一个笼统的了解。
  • 工具的学习曲线是怎样的?可以很快上手吗?可以很快做技能传递吗?
  • 工具的社区效应如何?有足够的参考文档吗?有方便的渠道让你有求必应吗?有源码可以一探究竟吗?
  • 公司对选择工具有没有倾向性或者策略上的考虑,如果有,那还选择竞争对手的,或者第三方的就是不甚合适的。
  • 工具的发展前途如何?会在你的测试自动化完的时候,甚至还没做完就消亡了吗?
  • 工具能允许你的测试案例发生应需的变化而帮助你重构调整吗?能在测试案例日益增多时仍然游刃有余吗?
  • 最后一点,我觉得也很重要,这样的工具会让你觉得以后只是在做重复的劳动,还是会让你不停地学到些新东西呢?

4、自动化测试到底可以测什么?

自动化测试什么都能测吗?什么都能覆盖吗?显然不。

  • 基于API的自动化测试可以容易实现的,也容易运行并相对容易维护的,比如有些高级的IDE重构功能可以某种程度上帮助你达到这一点。
  • 基于UI的很难测,也更难完全覆盖测试。没有一种工具可以帮助你,全部实现你要测试的功能的各个方面,而利用不同工具来实现一个完整的测试案例的自动化,则显得洋枪夹土炮,维护也是个问题。
  • 基于Web的则难上加难。因为不同的浏览器对UI的控制是不一样的,你需要考虑自动化测试代码能兼容到不同浏览器。当然,如果你只需要面对一款浏览器,那困难要少一些。

所以,要选择合适的工具,然后要明白能自动化掉的功能是什么,不能的有哪些,不能一味的借助工具,要考虑到工具实现以及运行维护的成本,有的时候手工可以做一下的动作必须要费很大功夫用工具来完成,以追求片面好成本极高的自动化。

这是一个学习的过程,有些经验不做过是很难得到的。

    5、老板喜欢自动化测试,你喜欢么?
    自动化测试实现一阶段后,拿出一组数字出来,自动化测试覆盖率多少,节省人力多少,老板看着高兴,自己也开心。但是,是真的开心么?真的对实现了的自动化测试有信心吗?真的能覆盖相应的测试案例吗?可以很好的维护吗?不同的人,心里会有不同大小的结吧?有人会有无知的开心,有人也会有心虚吧。

admin Tech, 工作日记, 随笔 ,

未来三年将关注哪些战略技术?(转)

November 28th, 2009

据国外媒体报道,在周二10月14日举行的“2008年度Gartner Symposium ITxpo”技术大会上,Gartner两位分析师卡尔·克劳奇(Carl Claunch)和戴夫·肖尔利(Dave Cearley)列出了今后三年内值得关注的十大战略技术,其中虚拟化技术名列首位。

克劳奇和肖尔利表示,所有企业用户都应密切关注这十项技术的发展动态,以实现公司长期发展和有效降低IT开支双重目的。

以下为Gartner所列出今后3年内值得关注的10大战略技术简介:

1、虚拟化(Virtualization)技术

借助虚拟化技术,计算机用户将可在单一计算机硬件中安装多个操作系统(虚拟机),并实现多重任务处理,从而达到节省IT开支和高速处理计算任务等目的。目前企业数据存储、内部网络已实现虚拟化。随着服务器和PC虚拟化理念的普及,传统IT基础设施的部署理念正受到挑战。

Gartner此前曾预计,到2009年之前,在x86服务器上安装的虚拟机将超过400万台。此外,PC机虚拟化应用也在大幅增长。到2011年时,虚拟化PC机数量将从2007年的不足500万台增至6.6亿台。

2、云计算(Cloud Computing)技术

“云计算”是过去数年中刚刚出现的新概念,是指科技公司首先组建数据中心,然后向各大企业、政府部门及科研机构提供数据存储及平台测试等网络服务。诸如社交网站、流媒体及手机互联网等业务,都可使用云计算服务。有业界人士指出,目前一些科技公司大肆炒作云计算概念,甚至把一些与云计算根本沾不边的业务也说成是云计算服务。

Gartner认为,炒作归炒作,但云计算确实已成为产业新潮流,所有企业用户都需认真对待。Gartner预计,到2012年时,在“《财富》1000强”企业中,80%会通过不同方式使用云计算服务;对云计算服务商而言,他们应考虑如何保证客户的数据安全。

3、服务器技术

Gartner认为,通过多核和混合服务器,IT产业的格局将发生显著变化:数据处理速度大为提升,应用软件功能显著增强,操作系统的现有结构也将随之改变。当然,多核和混合服务器普及后,也对各企业用户的IT管理水平提出了更高要求。

4、基于互联网的架构技术

Gartner称,云计算服务等理念的日益流行,将推翻人们对互联网架构的现有理解,科技产业将对主流互联网架构和发展模式提出新设想。

5、企业Mashup技术

所谓Mashup,是指把多个来源信息加以组合的网络技术。Gartner称,在IBM、微软等企业的推动下,今后数年内Mashup应用将成为主流。Mashup的变革性意义在于:即使商业用户的IT技术水平并不高,同样也可创建符合自身需求的Mashup,并将这些Mashup加以组合,IT产业的安全性也将随之大幅提高。

6、定制化服务器技术

Gartner称,通过使用定制化服务器,不但将使企业用户部署服务器的时间大为减少,而且更能符合企业的特定需求。针对该业务领域,目前市场上已出现了名为“异类系统”(heterogenous system)的服务器产品。这种产品由服务器厂家预装软件并加以维护。如此一来,各大企业用户的IT部门工作量将大为减轻。

7、社交软件和社交网络

在企业社交软件领域,将产生出大量合作性产品,用户提交内容后,将与其他用户共享。用户可对这些数据进行多次修改,从而创建出庞大的内容系统。但传统的博客和维基百科全书多以个人为主,今后这种内容创建方式也可用于企业用户领域。通过企业社交网络,网民将可准确查找到自己想要的具体信息。

Gartner称,企业用户在开展自身社交网络业务之前,首先可向Facebook、Twitter、FriendFeed、LinkedIn及其他社交网站学习有益经验。

8、统一通信技术

所谓统一通信,是指把计算机技术与传统通信技术融合一体的新型通信模式,既把计算机网络与传统通信网络融合到一起,以实现电话、传真、数据传输、音视频会议、呼叫中心和即时通信等众多应用服务的统一。Gartner称,目前各大企业使用了不同厂家的多种通信产品,如果利用统一通信技术,可使企业用户大幅降低运营开支。

9、商业情报技术

Gartner称,通过商业情报技术,可使企业高管更快了解到各种市场动态,从而尽早作出相应市场决策。Gartner认为,值得注意的是,互联网时代的所有企业并不缺乏信息,甚至经常会面临着信息泛滥的问题。也正是在信息泛滥前提下,商业情报技术可建起起相应筛选机制,从而使企业高管的决策更有针对性。

10、绿色IT技术

Gartner认为,绿色IT技术之所以会大行其道,主要有三个原因:首先,政府主管部门要求企业这样做。其次,通过技术改进,如果各大企业注意环保因素,将有利于他们节省能源并最终降低运营开支。再次,不少企业高管认为,率先使用绿色IT技术,也是各大企业理应承担的社会责任。

admin Tech, 工作日记

What’s New in IBM Mashup Center 2.0

November 24th, 2009

开源自动测试框架Tellurium

July 17th, 2009

Tellurium自动测试框架是一款针对web应用、基于UI模块的自动测试平台。UI模块是由一组复合的UI对象以嵌套的形式组成,比如,Google的搜索UI模块可以表示成:

ui.Container(uid: “GoogleSearchModule”, clocator: [tag: "td"], group: “true”){
InputBox(uid: “Input”, clocator: [title: "Google Search"])
SubmitButton(uid: “Search”, clocator: [name: "btnG", value: "Google Search"])
SubmitButton(uid: “ImFeelingLucky”, clocator: [value: "I'm Feeling Lucky"])
}

Tellurium框架还定义了一套全新的领域特定语言来进行web测试,比如对于Google搜索模块,你可以使用下面的DSL来完成一次搜索测试:

type “GoogleSearchModule.Input”, “Tellurium test”

click “GoogleSearchModule.Search”

waitForPageToLoad 30000

目前Tellurium已经发布0.6.0版本,InfoQ中文站就Tellurium的方方面面,特地邮件采访了Tellurium的创始人方剑先生:

1、请介绍一下您自己,以及所从事的工作?

我的名字是方剑,曾经在上海读书和工作多年。2000年在美国佐治亚理工(Georgia Institute of Technology)求学。毕业后在一家美国公司做软件开发工作,从事企业级应用(Enterprise Applications)开发,主要负责服务器端框架的设计和开发,商业应用服务(Business Services)的开发, 和一些软件规范的制定。此外,我还有很强的人工智能和计算机网络方面的研究背景。

2、您开始做Tellurium这样一个自动化测试框架,是基于怎样的考虑呢?我看到有特色的两点是使用UI module-based这样的描述块来定义待测的UI,以及使用DSL来表述测试代码,还有哪些与以往框架不同的设计思想,缘起是什么呢?

在2007年,我们公司开始注意到Selenium测试框架。由于我们用敏捷开发方法(Agile development), 在Scrum队伍中,每个人的角色开始变得多样性了。我有个工作(Task)就是用Selenium去测试我们的一个应用程序(是用Dojo Javascript框架写的)。应该说在当时,Selenium是一个开创性的框架,如果用他们的复制和重播模式(record and replay)很容易产生测试脚本。但一旦我开始用Selenium,我发现它还是有一些缺点和不便之处。主要测试脚本是对代码的更新很脆弱 (Fragile). 但是在一个敏捷开发的环境下,一般都有阶段性的用户接受测试(User Acceptance Test), 由于程序一直更新,Selenium测试脚本的维护就变成一个很头痛的问题。而且,对于很多企业级应用,复制和重播模式本身就不太适用,比喻我们有很多数据格(Data Grid),它的内容本身就是动态的。其他的问题包括Selenium测试脚本不是结构化的,你可以看到处有XPath,这更增加了维护的困难。因此,我们决定开发一个在Selenium之上的框架来解决这些问题。我做的第一个版本是通过Spring框架和物体工厂(Object Factory)来产生UI元素(Element),使得框架能把UI元素的表达和测试代码分开,自动处理Javascript事件,并在一定程度上能处理动态网页内容。

由于这个框架用XML来配置UI元素,使用起来并不是很方便。在2008年,我用Groovy重写了整个框架并变成一个开源项目(open source project)。新的版本主要有三个大的改变。首先是采用UI Module(UI模块)描述块来定义待测的UI。这样做的好处是系统自动生成运行时的Locator,即使你改变了其中的一些元素,框架本身会生产新的 Locator来适应这种改变。而且框架侧重一个集合的元素,而不是单个元素,这样使得我们可以利用元素之间的关系来帮助我们定位他们在DOM中的位置。此外,这样也增加了重用性,比如,我们可以定义一些Tellurium Widget,在你的测试代码中可以直接定义这个Widget,而不需要重新定义一个个的单个元素。第二个大的变化是用DSL来写测试代码。这样增加了表达性使得用户很容易写和维护测试代码。Tellurium测试代码可以用Java, Groovy, 或纯DSL脚本来写。Tellurium本身也支持JUnit和TestNG测试框架。另一个大的变化是开始用UI模板(UI templates)来表述动态网页内容,例如数据格(Data Grid)。这样使得Ajax应用程序的测试变得可行和容易。

3、 Tellurium主要有那些子项目构成?

Tellurium主要是由Tellurium Core, Tellurium Engine, Tellurium Widget Extensions, 和Tellurium UI Module Plugin(TrUMP)子项目构成。Tellurium Core主要是处理DSL和动态生成Locator. Tellurium Engine是测试驱动模块,目前还是利用Selenium Core. Tellurium Widget Extensions包括一些DOJO和ExtJS Javascript框架的可重用Widget模块。这些Widget被编译成一个jar文件方便用户调用。TrUMP是一个Firefox plugin来自动生成UI Module。

另外,Tellurium还提供两个参考子项目(Reference Projects),分别为JUnit和TestNG项目,来给用户示范如何创建Tellurium测试项目和如何使用Tellurium的各种功能。

除此之外,Tellurium还提供了Tellurium Maven Archetypes,使得用户可以用一个Maven命令就可以创建自己的Tellurium测试项目。

4、介绍一下Tellurium的代码贡献者们吧?

我主要是负责Tellurium的整体设计和很大一部分的代码编程。除我之外,现在还有四个来自美国和英国的队友(team members)。Vivek Mongolu主要负责TrUMP的UI设计和实现。Matt Senter主要负责Maven支持,包括代码的编译,发布,和Maven Repository的维护。Haroon Rasheed参加了Tellurium参考项目(Tellurium Reference Projects)的开发,Selenium Grid的支持和其他的维护工作。Mikhail Koryak参于了TrUMP的开发工作,他是jQuery方面的专家,负责Tellurium的jQuery支持。现在参与Tellurium Engine的开发。

5、你了解在自动化测试工具这个领域,有着哪些和Tellurium类似的竞争对手吗?比如ThoughtWorks的Twist?与它们相比,Tellurium的优势在什么地方?有什么劣势吗?

Tellurium脱胎于Selenium,它的主要竞争对手还是Selenium, 毕竟Selenium已经推广好几年了。要用户用一个新的框架是要花一定的时间的。此外Canoo WebTest也是一个比较流行的网页测试框架(Framework)。但是Tellurium还是有它本身的优势的,如UI Module的概念,鲁棒性好,可重用性好,表达性好(Expressiveness)。用Tellurium写的测试代码的结构性好,比较容易维护。

毕竟Tellurium还是一个新的框架,到现在只有一年多的开发时间。有些特色还有待成熟。此外,Tellurium要用到Groovy动态语言,尽管用户并不一定需要了解Groovy才可用Tellurium,但由于Groovy相对比较新,所以不少人还是有疑豫的。

ThoughtWorks的Twist基本上是Selenium + GSpec, 就是在Selenium之上增加了行为测试(Behavior Driven Test)的DSL。其实我很早就考虑到对行为测试的支持,但精力有限,Tellurium目前还没有这方面的实现。将来会增加的,可以和EasyB框架结合来支持行为测试,或直接实现对行为测试的支持。

6、现在Tellurium的应用情况是怎样的?来自使用者的反响如何?

现在已经有不少Tellurium用户,主要来自美国,印度和欧洲。由于Tellurium本身的特色,如易用,可维护性好,新的功能如对jQuery Selector的支持,使用者的反应还不错。甚至有的用户在自己的公司里给同事作Tellurium的培训。当然,Tellurium还很年青,而且前一段时间由于全球性经济危机的影响,我们对Tellurium的推广还做得很不够。以后会加大对Tellurium的推广。

7、Tellurium在社区采用了哪些方式和开发者们进行交互呢?

我们有自己的用户组Tellurium user group, 用户提出问题往往能很快地得到解答。我们也有LinkedIn用户组让用户之间能更好地交流。此外我们还鼓励用户参加Tellurium的设计讨论和推广。我们会每年从用户中推选出一个最活跃用户(most active user)和一个最有价值用户(most valuable user)。Tellurium将来会设推广队(Evangelism Team),如果某人对Tellurium做了很多推广工作,他/她也可以成为Tellurium正式成员(team member)。

8、Tellurium未来的发展有怎样的规划吗?有计划推出中文的社区及文档吗?

尽管Tellurium和Selenium在概念上有很大的不同,一直到Tellurium 0.6.0, 我们还是依赖Selenium Core作为底层的测试驱动Engine. Tellurium 0.7.0将成为Tellurium发展史上的一个重要里程碑,我们将开发自己的测试驱动Engine使得Tellurium能更好,更有效地支持UI Module,同时可以进行UI Module的缓存(Caching)以增加其可用性和提高测试速度。并可对UI Module进行部分匹配以增加其鲁棒性。在新的Tellurium Engine的支持下,Tellurium widget将变得更容易,更实用,和更有效。其他的发展规划包括TrUMP的改进,行为测试(Behavior Driven Test)的支持,功能测试(functional test)的增强支持, 和IDE的支持。

毕竟我来自中国,当然希望得到更多的来自自己国家的用户的参与和支持。现在我们已经开通中文社区和文档项目,会有相关的中文文档逐渐添加进来,我们也热烈欢迎更多国内的开发者能加入进来,帮助支持和推广Tellurium,谢谢。

9、能给国内的用户一个快速的开始吗?怎么立刻感受到Tellurium带来的好处?

我们提供了一份中文版的Tellurium QuickStart,还有一个短小的演示: 十分钟感受Tellurium (10 minutes to Tellurium)。它包括利用Tellurium Maven archetype去建立一个新的Tellurium测试项目,再用 Tellurium Firefox plugin TrUMP去自动生成一个UI Module,然后再写自己的Tellurium测试代码。

如果用户不熟悉Maven, 他可以下载Tellurium参考项目(Tellurium Reference Project). 这个项目是我们用来测试Tellurium项目网页的。包括了各种例子,可以直接运行。

更多有关Tellurium的信息,请参考DZone上的相关资料和Tellurium的Wiki。敬请期待Tellurium在InfoQ中文站的更多技术文章。

原文载于:http://www.infoq.com/cn/articles/tellurium-testing-framework

admin Tech, 工作日记, 随笔 , , ,

程序员的几重天

June 25th, 2009

第一重,简单改改bug,一些样式上的小问题,逻辑上的小缺陷,不需要程序员对系统有怎样的理解,也可以凭借自己的技能对bug进行修复。

第二重,是能理解某个模块的实现,模块的设计和代码,心里都有谱,哪里出现什么样的非表面问题,都能快速地定位并解决掉。

第三重,能主动承担起某个模块的设计和实现,而不仅仅是在既有代码上去理解并除错。能沟通并设计实现与其他模块的接口关系,模块健壮容错,bug数目少。

第四重,能对整个系统的架构和实现了然于胸,各模块间的耦合关系,与其他系统存在的依赖接口,都能设计并实现。

admin Tech, 工作日记

选择一种态度

May 24th, 2009

别人眼里的“上进”很会让人自欺欺人并取得心里满足,让自己在虚幻中不能自拔,但可喜的是,自己能感受到虚幻覆盖下的苍白。

那天跟lead聊了一些,她的思维主动性和目标性让我相形见绌,虽然我不苟同她的所有看法,公司文化所影响的生存之道,自我激励和发展的方式,但我知道我缺少的是一份执着专注的态度,去面向公司面向工作,其实更是面向自身。

太贪图了安逸,是我的缺陷。表面上,老婆、房子、车子,以及即将的孩子都成为了现实,但没有危机感,也没有执着的欲望,这就像失了信仰的教徒,无法着地。

所以,要选择一种态度,在选择的决定之前,重要的是要去尝试。一些好的习惯要养成,有计划,有Action,有坚持。

admin 工作日记, 随笔