Hipóteses e Experimentos
Neste tópico, vamos ver dois aspectos fundamentais do Método Científico e, portanto, de pesquisas: hipóteses e experimentos.
Em geral, a qualidade de estudos sobre o comportamento do usuário depende desses dois fatores: hipóteses bem elaboradas, que servirão como ponto de partida para a investigação, e experimentos com algum rigor, a fim de se garantir a confiabilidade dos resultados.
Hipóteses
Uma hipótese, em termos bastante simples, é uma declaração preliminar do que você espera encontrar em uma pesquisa ou estudo.
Em outras palavras, hipóteses são suposições sobre algo que queremos investigar, a fim de validar ou refutar esse algo a partir de experimentos e testes.
Se uma hipótese é confirmada, por meio de experimentos e testes, ela se transforma em fundamentação de uma teoria ou iniciativa. Se ela é refutada, transforma-se em um contra-argumento e, normalmente, gera aprendizados que podem ser usados em outros estudos.
Hipóteses são o ponto de partida para qualquer estudo com pretensões minimamente científicas.
Embora em User Research nem sempre o profissional tenha como trabalhar com condições e controle rigorosos como em um laboratório químico ou de medicamentos, ainda assim é necessário que se baseie em requisitos do método científico para fazer descobertas e comprovações válidas ao negócio — isto é, que não sejam fruto de crenças, opiniões e “achismos”, apenas.
Quando queremos descobrir se nossos usuários têm preferência por pagar mais, porém de forma parcelada e recorrente, ou pagar menos, mas de forma anualizada, em parcela única, estamos formulando uma hipótese.
Supôr que os usuários irão preferir uma nova versão de uma feature (recurso) em nosso produto, em detrimento da versão atual, também é elaborar uma hipótese.
Como elaborar hipóteses
1. Começar com uma pergunta inicial
Ter uma pergunta inicial é o que é chamado de questão de pesquisa. Este é o ponto de partida para um experimento minimamente científico.
Em diversas teses, a questão de pesquisa foca na correlação entre uma variável independente ou preditora (a causa) e uma ou mais variáveis independentes ou variáveis resposta (o efeito).
Por exemplo, se perguntarmos em que medida a nova versão de uma feature irá impactar a taxa de retenção de usuários, teremos as duas variáveis necessárias:
- variável independente ou preditora: nova versão da feature;
- variável dependente: taxa de retenção de usuários.
Se a pergunta for mais complexa, o ideal é quebrar a hipótese em mais de uma e testá-las em conjunto ou em separado.
É possível montar um modelo conceitual (mapa visual) de como as variáveis se relacionam e como uma impacta em outra, para facilitar esse processo de quebrar uma hipótese em várias.
2. Realizar pesquisas exploratórias
Hipótese não é um “achismo” completo, baseado em vontade pessoal, por exemplo. Normalmente, ela é parcialmente informada, isto é, decorre de algo que já vem sendo observado, possivelmente de outros estudos.
O lançamento de uma nova versão de uma feature em um produto não é um palpite ao vento. Provavelmente, a intenção nasceu de alguma observação anterior sobre os desejos e as necessidades dos usuários ou mesmo palpites do negócio, com base em pesquisas e investigações de mercado.
Ter essa informação parcial ajuda na formulação de hipóteses mais factíveis de serem investigadas.
À medida que um User Researcher ou um time de User Research se firma em uma startup ou empresa, é natural que comece a realizar estudos que acabem se desdobrando em outros, o que facilita pesquisas exploratórias de novas hipóteses.
De um estudo para medir as preferências de pessoas por um determinado método de pagamento, uma oferta ou um determinado fluxo de uso de um produto ou serviço, costumam surgir novos pontos em aberto, que requerem continuidade e aprofundamento de pesquisas para serem testados e validados.
3. Imaginar uma resposta provisória
Outro recurso que funciona na elaboração de hipóteses robustas é, após ter a questão de pesquisa e alguma pesquisa exploratória a respeito, imaginar a resposta do experimento e teste que será feito.
Declarar algo como “a nova versão da feature X aumentará a taxa de retenção de usuários em Y%” é um bom começo. Assim, haverá medidas mais objetivas que permitem quantificar e conduzir a pesquisa.
4. Formular as hipóteses definitivas
Por fim, dependendo do tipo de experimento ou teste, formule a hipótese definitiva, de forma rigorosa e declarada.
Ela deve explicitar, pelo menos:
- as variáveis que você está investigando;
- os grupos (em User Research, grupos de usuários) que você está estudando; e
- o resultado esperado.
Hipótese nula e hipótese alternativa
A partir da definição da hipótese de forma mais robusta, pode-se, então, ter uma hipótese nula (H0) e a hipótese alternativa (H1), necessárias para um teste de hipóteses (tipo de teste estatístico), por exemplo.
Hipótese nula é o caso em que a hipótese que você definiu não se confirma. É o ponto de partida para qualquer pesquisa científica.
Por princípio, parte-se da suposição de que a nova versão da feature X não aumentará a retenção de usuários em Y%. Isto é, não há relação entre as variáveis (a nova versão da feature e o aumento na taxa de retenção de usuários).
Hipótese alternativa é a que você quer testar. É a declaração de que, sim, a nova versão da feature X aumentará a retenção de usuários em Y%. Se isto for confirmado, significa que há relação entre as variáveis.
Tecnicamente, em Ciência, diz-se que a hipótese nula foi rejeitada (isto é, a hipótese alternativa é válida) ou que a hipótese nula não foi rejeitada (ou seja, permanece válida). Dizer que não foi rejeitada, rigorosamente, também significa que só se sabe isso e não que a hipótese nula é “verdadeira”.
Experimentos
Experimentos são situações controladas, usadas para estudar relações causais entre variáveis.
Diz-se que são situações controladas porque se procura manter as variáveis dependentes constantes, para que mudanças não influenciem os resultados.
Para um exemplo bastante simples, digamos que queremos testar se há correlação entre a mudança de cor da identidade de um produto com um preço mais alto que os clientes estejam dispostos a pagar.
A variável independente é a cor que queremos testar. A variável independente é o preço mais caro que os clientes estão dispostos a pagar.
Como há muitos outros fatores que podem influenciar o preço, um experimento controlado é uma maneira de assegurarmos que o preço está relacionado à mudança da cor e não a outros aspectos (chamados de variáveis estranhas).
Pode ocorrer, por exemplo, de ter havido uma condição no mercado, em que um concorrente que fornecia o mesmo produto deixou de fazê-lo. Isso pode influenciar os clientes a pagar mais pelo mesmo produto de outra marca, independentemente de suas características, como a cor.
Por isso, experimentos controlados servem para isolar as condições e garantir que os resultados sejam válidos.
Como fazer experimentos controlados
Uma forma de manter experimentos sob controle é fazer com que todos os participantes sejam testados nas mesmas circunstâncias e ambientes.
O primeiro passo para tal controle é selecionar uma amostra representativa dos participantes (população).
Talvez seja relevante submeter a mudança apenas a clientes já fiéis. Talvez o que se queira é expandir o produto a outros públicos e por isso está sendo alterada a cor. Uma amostragem representativa será diferente, dependendo dos objetivos.
Pode ocorrer de outros fatores, como sexo ou idade, também interferirem. Esses casos podem merecer experimentos mais detalhados posteriores.
Grupo controle e grupo teste
No caso do teste de cor do produto, uma forma de manter o experimento controlado é dividir os usuários em dois grupos, aleatoriamente:
- grupo controle: receberá, por exemplo, o produto na cor vermelha (a cor atual, digamos, ou hipótese nula);
- grupo teste: receberá, por exemplo, o produto na cor amarela (a nova cor, que queremos testar, ou hipótese alternativa).
Todos os demais fatores são mantidos os mesmos, em um ambiente controlado. Apenas a cor muda de um grupo a outro.
Isso isola e permite saber que a preferência por pagar mais está relacionada especificamente a cor e não a outros fatores.
Note a ênfase no termo “aleatoriamente”. Para um experimento ser rigoroso, é necessário que os participantes sejam divididos aleatoriamente entre grupo controle e grupo teste.
Duplo-cego
Uma forma de garantir ainda mais rigor nessa aleatoriedade são os chamados “estudos duplo-cego”, muito comuns em testes clínicos de medicamentos, por exemplo.
Em um estudo duplo-cego, os participantes não sabem se estão em um grupo controle ou grupo teste, o que evita seus próprios vieses e vieses dos pesquisadores, capazes de influenciar os resultados.
Experimento verdadeiro e quasi-experimento
Experimentos rigorosamente controlados, como os que acontecem em laboratórios de química, por exemplo, são chamados de experimentos verdadeiros.
Experimentos não tão rigorosos, por questões de custos, impossibilidade ou mesmo ética, são chamados de quasi-experimentos.
É provável que, em User Research, onde pesquisas quantitativas têm de ser feita na velocidade das necessidades de negócios e em relação a seres humanos em seus contextos (em que as condições mudam de uma hora para outra ou pode haver limitações éticas), você se veja fazendo mais quasi-experimentos do que experimentos verdadeiros.
Ambos, no entanto, tem suas vantagens e desvantagens e não significa que um é necessariamente melhor que o outro. Dependerá dos objetivos e da situação.
Um quasi-experimento, na prática, não depende de uma amostra aleatória de participantes. Pode ser que você use grupos que já tenha à disposição, e que esses grupos sejam díspares entre si, por exemplo. E estará tudo bem, desde que compreendidas tais limitações e suas implicações ao estudo.
Vantagens e desvantagens
O que é vantagem em experimentos verdadeiros é desvantagem em quasi-experimentos, e vice-e-versa.
- Validade externa: quasi-experimentos podem ser vantajosos porque envolvem mais interações do mundo real do que situações muito artificiais, de laboratório, que não são encontradas na prática. Isso, porém, dependendo da medida, pode enfraquecer ou invalidar os resultados, por falta de rigor, caso em que experimentos verdadeiros podem ser necessários ou mais indicados.
- Validade interna: quasi-experimentos permitem maior controle de variáveis; porém, isto também pode impactar nos resultados, em relação a experimentos verdadeiros. Além disso, a falta de randomização da amostra também pode ser problemática.
- Dados: experimentos verdadeiros normalmente contam com dados captados especialmente para tais situações, o que garante mais qualidade; porém, costuma ser uma abordagem mais complexa e cara. Quasi-experimentos podem ser mais rápidos e baratos, porque aproveitam dados de outros estudos. Porém, tais dados podem se revelar insuficientes, mal-qualificados ou imprecisos para o estudo em questão.
Conclusão
Este tópico visa dar um panorama geral do que são hipóteses e experimentos, a partir de um âmbito científico.
Afinal, UX Researchers não atuam com base em intuição, crenças próprias ou “achismos”, como já dito, mas em abordagens que se pretendem minimamente científicas.
Procure se familiarizar com estes termos e pesquisar mais sobre método científico e realização de estudos criteriosos, principalmente em Ciências Sociais.
Uma boa dica é entender como pesquisas de opinião para eleições, estudos a partir dos dados do censo ou da Pesquisa Nacional por Amostra de Domicílios (PNAD), do IBGE, são realizados.
A partir disso, é interessante tentar entender pesquisas quantitativas sobre hábitos de consumo da população, por exemplo. Procure pela metodologia delas.
Artigos acadêmicos que tratem de pesquisas empíricas também são interessantes como fontes de estudo, porque precisam seguir o método científico, ter boas hipóteses de partida e realizar testes e experimentos controlados para a validação dos resultados.
Lembre-se, porém, que UX Research é uma disciplina moldada muito mais nas trincheiras do mercado, onde talvez nem todo o rigor, tempo e condições de um laboratório estarão disponíveis e algum grau de “aposta” intuitiva esteja inevitavelmente em jogo.
Esteja ciente das limitações e impactos que isso pode ter para estudos criteriosos e procure ser transparente sobre isso, principalmente com as partes interessadas (stakeholders).
Rigor em pesquisa é uma faca de dois gumes:
- mais rigor implica pesquisas mais complexas, demoradas e mais caras, em prol de resultados que podem ser muito mais confiáveis — e podem levar negócios a perder o time (tempo) do mercado para inovações, por exemplo;
- menos rigor pode impactar em rapidez e baixo custo, porém, acabar servindo apenas para atender o ego do pesquisador ou de stakeholders e não para trazer evidências sobre fenômenos da realidade, como comportamentos do usuário — levar o negócio a conclusões errôneas sobre suas investigações, que geram investimentos em teses de inovação equivocadas.
Esteja atento a esse trade-off no uso de pesquisas e procure ler e aprender mais a respeito.
Conclusão
Ao compreender esses aspectos do UX Design, você estará preparada para mergulhar nas práticas e teorias envolvidas nesse emocionante campo. Explore, questione e aproveite sua jornada neste curso!
