Continuous Testing is growing, but technology and team structures must improve for organizations to gain a competitive advantage.
Capgemini and Sogeti, part of the Capgemini Group, released a new report on Continuous Testing, in collaboration with Broadcom Inc.’s Enterprise Software Division. According to the report, the practice of Continuous Testing – the process of fast and efficient validation of software releases in agile developments through highly automated tests – is gaining ground in large enterprises, with almost a third of IT executives (32%) stating that their IT departments had ‘fully embraced Continuous Testing’. However, with 58% of enterprises surveyed deploying a new build daily (and 26% at least hourly), the report highlights that companies must work to improve their continuous testing effectiveness by streamlining their test environment within an agile development ecosystem.
The report is based on 500 interviews with senior-level IT executives from large and medium-sized companies (over 1,000 employees) in industries including financial services, high tech, healthcare and life sciences, telecommunications, media and entertainment, and manufacturing. It found:
Companies must unlock the potential of automation in testing
The study strongly highlights that there is a significant scope to optimize Continuous Testing processes through technology. It found that automation was only being used to execute 24% of test cases, 24% of end-to-end business scenarios, and to generate 25% of the required test data.
Greater use of automation could significantly improve the velocity of testing activities in the agile teams; for example, over a third (36%) of those surveyed said that more than 50% of testing time is spent searching, managing, maintaining and generating test data.
The report recommends that to respond to customer and market needs, all enterprises need to take significant action.
Use cases, detailed in the report, include a leading Australian bank, which had over 5,000 builds for more than 100 applications. By harnessing a single platform for automated build and deployment, integrated with testing and automation tools, it was able to reduce build cycle time by 40%, improve time to market and significantly increase environment uptime.
Enterprises need smarter orchestration and enablement for testing
The self-empowerment of autonomous teams resulted for many enterprises in an uncontrolled landscape with a broad diversity in QA and test automation approaches. To regain control, cites the report, organizations need to improve the central quality enablement of the agile teams with clearer QA guidelines and smarter QA technology provisioning. A promising development is to make the test orchestration and execution much smarter via artificial intelligence (AI) technologies which provide “smart” test orchestration. With the addition of machine learning capabilities, systems will be able to automatically determine the tests that are required in the release and production cycles.
The report showed a clear need for improved transparency and orchestration in agile testing. Among the executives surveyed, 35% identified a ‘complete audit trail of testing activities’ and a ‘consolidated test and release pipeline’ as the most important test orchestration capabilities, with 32% highlighting a need for a ‘single-place for cross-team collaboration’ and ‘continuous delivery pipeline visibility’.
The shortage of centralized enablement on technology provisioning becomes most apparent when investigating the challenges with test environments. Teams wasted too much time procuring complete test environments. Four in ten (40%) of the respondents said their teams spend more than half of their time building and maintaining their test environments.
“The next two to three years will be a critical time for Continuous Testing as organizations need to solve the dilemma of transitioning to self-empowered autonomous teams where quality is everyone’s responsibility, while improving the central quality support and central quality oversight to create an agile development environment, that is truly able to deliver value in an increasingly complex IT landscape.” said Mark Buenen, Global Leader, Digital Assurance and Testing for the Capgemini Group. “This report clearly demonstrates the need to expand the levels of test automation, make provisioning of test environments and test data smarter, implementing meaningful quality metrics and smart quality dashboards as the core focus areas.”
Inter-disciplinary teams require new skills and support
In the last three to five years, the roles of both developers and testers have evolved significantly. According to the report, developers are now much closer to the customer, with a prominent role in shaping the user experience, while testers have moved out of siloed teams to work in parallel with developers and business teams, meaning that they are involved much earlier in the development life cycle. The roles and responsibilities of developers and testers are blurring, but clearly it remains important to have QA and test focused experts in the agile teams.
These inter-disciplinary teams mark a move forward, but also create challenges, details the report. They require every team member to have a holistic understanding of the entire process, with testers needing to upgrade their technical skills. Companies must address the requirement for upskilling and a new, integrated approach to truly achieve Continuous Testing’s full potential.
“It’s difficult to fully capitalize on the benefits of Agile and DevOps without Continuous Test automation, which enables organizations to leverage data and intelligence to accelerate the creation of high quality software at the pace of digital business,” said Ashok Reddy, Senior Vice President and General Manager, Enterprise Software Division at Broadcom. “As the chasm between IT and business leaders continues to close, new DevOps practices and techniques, such as automating continuous testing processes, will begin to emerge as necessary tools to drive digital transformation in a hyper-competitive marketplace.”
Methodology
The Continuous Testing Report (CTR) 2019 brings together survey data and subject matter expert contributions to outline the challenges and potential approaches to transforming test practices in the age of Agile and DevOps. It is based on the considered opinions of several subject matter experts from Capgemini, Sogeti, and Broadcom, buttressed by the results of a global survey of 500 senior decision-makers in corporate IT functions, working for companies and public-sector organizations across eight different regions.
About Capgemini and Sogeti:
A global leader in consulting, technology services and digital transformation, Capgemini is at the forefront of innovation to address the entire breadth of clients’ opportunities in the evolving world of cloud, digital and platforms. Building on its strong 50-year heritage and deep industry-specific expertise, Capgemini enables organizations to realize their business ambitions through an array of services from strategy to operations. Capgemini is driven by the conviction that the business value of technology comes from and through people. It is a multicultural company of over 200,000 team members in more than 40 countries. The Group reported 2018 global revenues of EUR 13.2 billion.
Part of the Capgemini Group, Sogeti operates in more than 100 locations globally. Working closely with clients and partners to take full advantage of the opportunities of technology, Sogeti combines agility and speed of implementation to tailor innovative future-focused solutions in Digital Assurance and Testing, Cloud and Cybersecurity, all fueled by AI and automation. With its hands-on ‘value in the making’ approach and passion for technology, Sogeti helps organizations implement their digital journeys at speed.
In crescita il Continuous Testing, ma la tecnologia e la struttura dei team di lavoro devono migliorare per ottenere un vantaggio competitivo
Capgemini e Sogeti, parte del Gruppo Capgemini, hanno pubblicato un report sul Continuous Testing, in collaborazione con Broadcom Inc.’s Enterprise Software Division. Dalla ricerca emerge che il Continuous Testing – ovvero il processo che prevede una validazione veloce ed efficiente delle nuove versioni dei software in ambienti agile attraverso dei test altamente automatizzati – sta prendendo piede nelle grandi aziende, tanto che circa un terzo degli IT manager (32%) afferma che le loro divisioni hanno “completamente abbracciato il Continuous Testing”. Tuttavia, con il 58% del campione che implementa una nuova ‘build’ su base giornaliera (e il 26% almeno una ogni ora), il report evidenzia che le aziende devono continuare a migliorare la propria efficacia in ambito Continuous Testing, snellendo i propri ambienti di collaudo all’interno di un ecosistema di sviluppo agile.
Il report si basa su 500 interviste a IT manager con elevata seniority di aziende medio-grandi (con oltre 1.000 dipendenti) operanti in diversi comparti, tra cui Financial Services, High Tech, Healthcare and Life Sciences, Telecommunications, Media and Entertainment e Manufacturing. Ne è emerso che:
Le aziende devono sbloccare il potenziale dell’automazione nella fase di testing
C’è ancora molto spazio di miglioramento per ottimizzare i processi di Continuous Testing attraverso l’utilizzo della tecnologia: l’automazione viene utilizzata per eseguire solo il 24% dei test, il 24% degli scenari di business end-to-end e per generare il 25% dei dati richiesti per i test.
Un uso maggiore dell’automazione potrebbe migliorare significativamente la velocità delle attività di testing dei team agile; ad esempio, oltre un terzo (36%) degli intervistati ha dichiarato che più del 50% dei tempi di collaudo è dedicato a ricercare, gestire, mantenere e generare dati per i test. Lo studio raccomanda a tutte le aziende di intraprendere azioni significative per rispondere alle esigenze dei clienti e del mercato.
Tra i casi d’uso descritti nel report, c’è quello di una delle principali banche australiane, che aveva oltre 5.000 build per più di cento applicazioni. Sfruttando un’unica piattaforma per la creazione e il rilascio automatizzato, integrata con strumenti di testing e di automazione, la banca è stata in grado di ridurre del 40% le tempistiche dei cicli di rilascio, migliorando il time-to-market e aumentando significativamente il tempo di operatività dell’ambiente di lavoro.
Le aziende necessitano di processi di gestione e abilitazione più smart per i test
La discrezionalità con cui i team di lavoro si sono mossi in autonomia, ha avuto come conseguenza che molte imprese si siano trovate a dovere gestire situazioni fuori controllo, con un’ampia varietà di approcci alla QA e al test automation. Per riprendere il controllo, afferma lo studio, le imprese devono indirizzarsi verso strumenti e metodologie che garantiscano un controllo centralizzato della qualità da parte dei team agile, attraverso linee guida più chiare in ambito QA ed il supporto di tecnologie QA più smart. Uno sviluppo che può portare a risultati promettenti è rendere l’orchestrazione e l’esecuzione dei test molto più smart attraverso l’utilizzo di tecnologie di intelligenza artificiale (IA). Con l’introduzione di funzionalità di machine learning, i sistemi saranno in grado di determinare automaticamente i test necessari nei cicli di rilascio e di produzione.
Il report ha evidenziato la chiara necessità di migliorare trasparenza e gestione dei test agile. Per il 35% dei dirigenti intervistati, gli elementi fondanti per validare la capacità di gestione dell’orchestrazione dei test e dei rilasci sono “una tracciatura completa delle attività di test svolte” ed un “processo consolidato di test e rilascio”. Il 32% del campione, invece, ha sottolineato la necessità di uno “spazio condiviso per la collaborazione tra i team” e di una “visibilità continua dei test e rilasci in esecuzione”.
Se ci si sofferma sulle sfide legate agli ambienti di test, la carenza di una struttura centralizzata finalizzata alla fornitura di un ambiente ready-to-use è sempre più evidente. I team sprecano troppo tempo per ottenere degli ambienti di collaudo completi, tanto che quattro intervistati su dieci (40%) hanno dichiarato che i loro team dedicano più della metà del loro tempo alla creazione e manutenzione degli ambienti di test.
“I prossimi due o tre anni saranno cruciali per il Continuous Testing, in quanto le aziende dovranno risolvere il dilemma della transizione verso team sempre più autonomi, in cui tutti si devono sentire responsabili della qualità, migliorando però al contempo il sostegno e la supervisione centralizzata della stessa, al fine di creare un ambiente di sviluppo agile, che sia realmente in grado di offrire valore in un panorama IT sempre più complesso”, ha dichiarato Francesco Fantazzini, Technology & Innovation Lead, Capgemini Business Unit Italy. “Tra le aree principali di intervento, questo report evidenzia chiaramente la necessità di ampliare i livelli di automazione dei test, rendere più intelligente e rapida la disponibilità degli ambienti di collaudo e dei relativi dati, implementare metriche più efficaci supportate da cruscotti avanzati per il controllo della qualità”.
I team interdisciplinari richiedono nuove competenze e supporto
Negli ultimi 3-5 anni, i ruoli degli sviluppatori e degli addetti ai test si sono evoluti in modo significativo. Secondo lo studio, attualmente gli sviluppatori sono molto più vicini al cliente, con un ruolo di primo piano nel definire la user experience, mentre gli addetti ai test hanno abbandonato una logica di lavoro a silos, collaborando con sviluppatori e team aziendali, e ciò significa che vengono coinvolti molto prima nel processo di sviluppo. I ruoli e le responsabilità di sviluppatori e addetti ai test si stanno parzialmente mischiando, tuttavia è fondamentale avere esperti focalizzati sulla QA e sui test all’interno dei team agile.
Il report prosegue sottolineando che, se da un lato la creazione di team interdisciplinari rappresenta un passo avanti, dall’altro crea delle sfide. È necessario infatti che ogni membro del team abbia una comprensione olistica dell’intero processo, con gli addetti ai test che devono aggiornare le proprie competenze tecniche. Le aziende devono soddisfare i requisiti di aggiornamento delle competenze e utilizzare un nuovo approccio integrato per raggiungere veramente il pieno potenziale del Continuous Testing.
“È difficile sfruttare appieno i vantaggi di Agile e DevOps senza l’automazione del Continuous Test, che consente alle organizzazioni di sfruttare dati e intelligence per accelerare la creazione di software di alta qualità al ritmo richiesto dal business digitale”, ha dichiarato Ashok Reddy, Senior Vice President e General Manager, Enterprise Software Division di Broadcom. “Mentre il divario tra IT e business leader continua a restringersi, nuove pratiche e tecniche DevOps, come l’automazione dei processi di Continuous Testing, cominceranno ad emergere come strumenti necessari per guidare la trasformazione digitale in un mercato iper-competitivo“.
Metodologia
Il Continuous Testing Report (CTR) 2019 riunisce i dati delle indagini e i contributi di esperti del settore al fine di delineare le potenziali sfide e gli approcci per trasformare le pratiche di test nell’era di agile e DevOps. Si basa sulle opinioni di diversi esperti del settore di Capgemini, Sogeti e Broadcom, supportate dai risultati di un’indagine globale condotta su 500 decision-maker senior delle divisioni IT di imprese e organizzazioni del settore pubblico in otto paesi diversi.
Capgemini e Sogeti:
Leader mondiale nei servizi di consulenza e tecnologia e in ambito di digital transformation, Capgemini è all’avanguardia nell’innovazione per consentire ai suoi clienti di orientarsi al meglio in un mondo costantemente in evoluzione del cloud, del digitale e delle piattaforme. Forte di 50 anni di esperienza e di una profonda conoscenza degli specifici settori di mercato, Capgemini sostiene le organizzazioni nel realizzare le proprie ambizioni di business, offrendo una gamma di servizi che vanno dalla strategia alle operations. Capgemini è mossa dalla convinzione che il valore di business della tecnologia sia creato dalle e attraverso le persone. Con un’organizzazione multiculturale di 200.000 dipendenti presenti in più di 40 paesi nel mondo, nel 2018 il Gruppo Capgemini ha registrato ricavi per 13,2 miliardi di euro.
Sogeti, parte del Gruppo Capgemini, è presente in oltre 100 location a livello globale. Lavorando congiuntamente con clienti e partner Sogeti è in grado di cogliere tutti i vantaggi delle opportunità tecnologiche, combinando agilità e velocità di implementazione, al fine di ottenere delle soluzioni innovative e orientate al futuro in ambito di Digital Assurance & Testing, Cloud e Cybersecurity, il tutto attraverso l’utilizzo dell’IA e dell’automazione. Grazie a un approccio basato sul “value in the making” e alla passione per la tecnologia, Sogeti aiuta le aziende a implementare i velocemente i propri percorsi digitali.
