Métricas que o CTO precisa conhecer e observar

Este capítulo possui uma versão mais recente:

Não se gerencia o que não se mede, não se mede o que não se define, não se define o que não se entende, e não há sucesso no que não se gerencia.
William Edwards Deming
Como dissemos no capítulo 1, o CTO é o responsável pela engenharia para construção e manutenção de produtos tecnológicos, tanto para uso interno quanto para uso externo. Dessa forma, entre seus principais interesses estão a melhoria dos métodos de trabalho, tecnologias adotadas, técnicas empregadas, além, é claro, da composição e organização do time.
0
Você destacaria outros interesses?x

É importante que o CTO, principalmente em empresas maiores, consiga avaliar de maneira objetiva as entregas de seu departamento. Para isso, é recomendável que ele observe um conjunto suficiente de métricas ao ponderar ganhos e perdas de cada iniciativa. A atenção dada a essas métricas, bem como as metas que forem determinadas são de suma importância para a geração de resultados de valor para o negócio, afinal, o esperado é que as pessoas se comprometam a entregar, melhor e primeiro, resultados que impactem positivamente as métricas que são observadas.

Boa parte das dificuldades dos CTOs em estabelecer métricas tem duas causas raízes:

  1. geralmente há mais ênfase em outputs do que outcomes – nem sempre é fácil entender que features não representam, necessariamente, valor para o negócio. Tampouco volume de código escrito ou velocity são bons indicativos de performance.
  2. ênfase no ótimo local e não no ótimo global – software (ou hardware) tem valor quando está em produção, ou seja, ser tremendamente eficiente para fazer entregas que ninguém usa é desperdício de recursos e não representa nada mais que “métrica para vaidade”.

Boas métricas precisam ser, ao mesmo tempo, valiosas além dos limites da área de tecnologia – ou seja, globais – e focadas na geração de valor percebido para o negócio. Nicole Forsgren, Jez HumbleGene Kim apontam, no excelente livro Accelerate (leitura mais do que recomendada) quatro métricas de engenharia que consideram (e eu concordo) essenciais:

  1. Delivery lead timeou seja, o tempo transcorrido entre um experimento (não gosto do termo “requisito”) estar “pronto para implementar” até efetivamente estar sendo testado em produção;
  2. Deployment frequency, que implica, fatalmente, na quantidade de “novidades” em cada deploy (batch size)
  3. Change fail percentage apontando a proporção de deliveries que geram falhas percebidas em produção
  4. Mean time to restore (MTTR) indicando o tempo em que uma falha de deploy destrói valor.

As duas primeiras métricas influenciam na geração de valor colocado em produção no melhor tempo, com o mínimo de represamento. As duas últimas objetivam qualidade. Processos de engenharia excelentes são ótimos em todas as quatro dimensões.
1
Você tem alguma objeção as essas quatro métricas?x

Delivery lead time mais baixo com deployment frequency mais alto permite a área de engenharia colaborar com os times de negócio na execução de experimentações que podem resultar em ganhos no modelo operacional. Além disso, entregas mais frequentes garantem batch sizes menores, logo, mais fáceis de depurar e com prejuízo menos percebido quando um rollback for necessário.

MTTR menores indicam menos “dor para o negócio”, em ambiente produtivo. Enquanto isso, change fail percentage mais baixo indica sucesso na implementação de ações preventivas, como testes automatizados implementados (na medida certa, para atender o delivery lead time) e revisão por pares.

Além das métricas propostas por Forsgren, Humble e Kim, destaco ainda alguns indicadores financeiros importantes:

  1. orçamento da área sobre o faturamento
  2. custo da folha sobre o faturamento
  3. faturamento per capta

Todos esses indicadores são úteis para comparações ao longo do tempo. O primeiro e o segundo, ajudam a entender o impacto dos gastos e despesas em tecnologia na companhia, uma vez que, quando seus valores crescem indicam investimento ou ineficiência. O terceiro, por sua vez, é útil para verificar se a empresa prioriza senioridade (menos gente, mais experiente e potencialmente mais cara) ou volume (mais gente, menos experiente e potencialmente mais “barata”).

Coisas que você precisa fazer

Antes de avançar para o próximo capítulo, considere implementar as seguintes iniciativas:
0
Recomenda alguma outra açãox

  1. Construa uma “planilha” consolidando os indicadores financeiros que apontamos nesse capítulo
  2. Reflita sobre a “flutuação” dos indicadores financeiros: sua empresa está investindo? seu departamento está menos ou mais eficiente? a ênfase é senioridade ou quantidade de membros no time?
  3. Pondere sobre a coleta das métricas indicadas por Forsgren, Humble e Kim. Quanto “fácil” seria para sua empresa coletar essas métricas hoje?
  4. As quatro métricas propostas por Forsgren, Humble e Kim costumam ser “balanceadas”, ou seja, todas estão bem ou todas estão mal. Avalie os resultados do seu time.

 

Compartilhe este capítulo:

Compartilhe:

Comentários

Participe da construção deste capítulo deixando seu comentário:

Inscrever-se
Notify of
guest
2 Comentários
Oldest
Newest Most Voted
Feedbacks interativos
Ver todos os comentários
Hugo Estevam Longo
Hugo Estevam Longo
3 anos atrás
Feedback no conteúdo deste capítulo As duas primeiras métricas influenciam na geração de valor colocado em produção no melhor tempo, com o mínimo de represamento.…" Ler mais »

Faz total sentido, aliás o livro Accelerate foi disparado o melhor livro que li sobre escalar performance de times.

Eduardo Arantes
Eduardo Arantes
3 anos atrás

Parabéns pelo conteúdo Elemar, eu considero outras duas métricas para o CTO deixar no radar. O MTBF complementando o MTTR e o famoso NPS, principalmente quando este produto é de uso massivo.

ElemarJúnior

Fundador e CEO da EximiaCo, atua como tech trusted advisor ajudando diversas empresas a gerar mais resultados através da tecnologia.

Mentorias

para arquitetos de software e executivos

Elemar atua há mais de 20 anos desenvolvendo software de classe mundial e liderando times de tecnologia de alta performance. Conheça o programa de mentoria.

ElemarJúnior

Fundador e CEO da EximiaCo, atua como tech trusted advisor ajudando diversas empresas a gerar mais resultados através da tecnologia.

TECH

&

BIZ

-   Insights e provocações sobre tecnologia e negócios   -   

55 51 9 9942 0609  |  me@elemarjr.com

55 51 9 9942 0609  |  me@elemarjr.com

bullet-1.png

51 99942 0609  |  me@elemarjr.com

2
0
Quero saber a sua opinião, deixe seu comentáriox
()
x