Pesquisa de Doutorado · UFPR — PPGInf
MAUX-B
Modelo de Avaliação de Acessibilidade, Usabilidade e Experiência do Usuário em Ambientes de Programação em Blocos
(An Assessment Model for Accessibility, Usability and User eXperience in Block-based Programming Environments)
Por que o MAUX-B precisa existir?
Ferramentas de programação em blocos prometem tornar o código acessível — mas e se elas acabarem excluindo justamente quem mais poderia se beneficiar?
As ferramentas de programação em blocos (como Scratch, Blockly e App Inventor) são celebradas por ensinar programação de forma visual e lúdica, do Ensino Fundamental ao Ensino Superior. No entanto, uma inquietação foi além dos números: nós não sabemos avaliar se essas ferramentas incluem ou excluem — se os "muros" existem e como derrubá-los. É dessa inquietação que nasce o MAUX-B.
Esses dados vieram de um Mapeamento Sistemático da Literatura (MSL). Eles revelam uma desconexão com a diversidade humana das salas de aula: ferramentas que deveriam ser portas de entrada para o pensamento computacional podem se tornar barreiras para estudantes com deficiência. O recurso de arrastar e soltar (drag-and-drop), por exemplo, facilita para a maioria — mas pode impedir o uso por quem tem deficiência visual ou motora severa. E quando o estudante não consegue interagir sozinho, surgem exclusão e frustração, que diminuem o engajamento e a motivação.
Desbalanceamento
A maioria dos estudos avalia usabilidade ou UX — nenhum avalia os três critérios (acessibilidade, usabilidade e UX) simultaneamente.
Falta de métodos
Não há registro de inspeção para usabilidade, nem de testes automatizados ou revisão de conformidade para acessibilidade nas ferramentas de blocos.
Fragmentação
Cada estudo usa métodos diferentes (SUS, entrevistas…), sem um padrão que permita replicar e comparar avaliações entre ferramentas.
prompts-imagens.md (prompt 7).O que é o MAUX-B?
Um modelo de avaliação que reúne o olhar do especialista e a percepção do estudante para avaliar acessibilidade, usabilidade e UX em ferramentas de programação em blocos.
Módulo 1 — Avaliação por Especialistas
Especialistas inspecionam a interface usando as heurísticas adaptadas, registram os problemas em uma planilha de consolidação e respondem ao AUXB-Q.
Módulo 2 — Avaliação Analítica
Estudantes realizam uma atividade na ferramenta enquanto a tela e as expressões faciais são gravadas; depois respondem ao AUXB-Q.
Módulo 3 — Síntese Integrada
Quando os dois módulos são usados juntos, os resultados são cruzados em um joint display para identificar convergências, divergências e complementaridades.
Como o modelo foi construído
A construção do MAUX-B está fundamentada no Design Science Research (DSR): desenvolver e avaliar soluções (artefatos) para problemas reais. O modelo é o artefato que representa a situação real e relaciona o problema à solução. A estrutura foi organizada com o framework 5W2H (O quê, Por quê, Onde, Quando, Quem, Como, Quanto) e desenvolvida em quatro passos:
-
Definição da tecnologia
O MAUX-B é definido como um modelo — uma representação que reúne elementos de acessibilidade, usabilidade e UX em módulos, etapas e instrumentos de avaliação.
-
Definição da estrutura
Três módulos (Especialista, Estudante e Integração), cada um com métodos e instrumentos adequados: heurísticas adaptadas, planilha de registro e consolidação, AUXB-Q, gravação de tela e expressões faciais, e joint display.
-
Elaboração do AUXB-Q
Questionário para orientar e padronizar a avaliação dos três eixos, construído a partir dos aspectos identificados no MSL, com ancoragem na WCAG e no eMAG.
-
Elaboração das heurísticas adaptadas
As dez heurísticas de Nielsen foram adaptadas ao contexto dos blocos de encaixe, incorporando critérios de acessibilidade, usabilidade e UX.
| Dimensão | Definição | Aplicação no MAUX-B |
|---|---|---|
| O quê? | O que será feito | Avaliar acessibilidade, usabilidade e UX em ferramentas de programação em blocos. |
| Por quê? | Motivação e necessidade | Responder às lacunas do MSL e proporcionar uma avaliação mais ampla das ferramentas. |
| Onde? | Local ou contexto | Laboratórios, salas de aula, ambientes remotos ou outros contextos viabilizados para o uso das ferramentas. |
| Quando? | Período e sequência | Conforme o cronograma definido pelo avaliador e a ordem das etapas de cada módulo. |
| Quem? | Participantes e papéis | Especialistas, estudantes e o avaliador responsável pela preparação, coleta, análise e consolidação. |
| Como? | Procedimentos e instrumentos | Heurísticas adaptadas, AUXB-Q, planilha, gravação da tela, análise de estados afetivos e integração dos resultados. |
| Quanto? | Recursos necessários | Participantes, tempo, computadores, câmeras e softwares definidos para cada avaliação. |
Heurísticas adaptadas
As dez heurísticas de usabilidade de Nielsen foram adaptadas para a realidade dos blocos de encaixe — e para enxergar também acessibilidade e UX.
Heurísticas gerais podem não abranger as particularidades das ferramentas de programação em blocos. Cada heurística adaptada foi construída sobre quatro bases: as heurísticas de Nielsen, a WCAG, o eMAG e os aspectos de acessibilidade, usabilidade e UX consolidados no agrupamento do MSL.
As 10 heurísticas adaptadas
O estudante precisa saber, a todo momento, se o programa está executando, parado ou com erro — e qual ator está em ação. Relaciona-se à Visibilidade e à Eficácia; na acessibilidade, pede que esse retorno também seja perceptível por vias não visuais (WCAG — princípio "Perceptível"; eMAG 3.6).
Como o público inclui crianças e iniciantes, blocos com palavras simples e metáforas familiares são mais compreensíveis que termos técnicos. Favorece a Facilidade de Aprendizado e reduz o Esforço Mental; na acessibilidade, torna o conteúdo "Compreensível" (WCAG; eMAG 6.1).
Montar blocos envolve arrastar, encaixar e apagar — e erros são esperados na aprendizagem. Poder voltar atrás dá liberdade para experimentar sem receio. Relaciona-se à Prevenção e Recuperação de Erros e à Eficácia; na UX, reduz a Resposta Emocional negativa.
Na sintaxe visual, cor e forma comunicam a função do bloco. A consistência aumenta o reconhecimento e evita reaprender a interface a cada contexto. Relaciona-se à Usabilidade Geral, à Facilidade de Aprendizado e ao Esforço Mental.
Uma das vantagens dos blocos é não haver erro de sintaxe: blocos incompatíveis não encaixam. Impedir encaixes inválidos é prevenir o erro antes de ele ocorrer. Relaciona-se à Prevenção e Recuperação de Erros e ao Esforço Mental; na acessibilidade, prevê várias formas de aviso (WCAG; eMAG 3.6).
O estudante não deve precisar memorizar os blocos disponíveis: reconhecer é menos trabalhoso que lembrar. Relaciona-se ao Esforço Mental, à Facilidade de Aprendizado e à Visibilidade — e responde diretamente à dificuldade de localizar blocos relatada no MSL.
Além de atender usuários experientes, os atalhos de teclado são a principal forma de interação para quem não usa o mouse. Relaciona-se à Eficiência (Eficiência–Tempo); na acessibilidade, viabiliza a operação via teclado (WCAG — princípio "Operável"; eMAG 4.1).
O excesso de opções simultâneas sobrecarrega, sobretudo crianças e pessoas com deficiência intelectual. Reduzir estímulos concorrentes diminui a carga cognitiva. Relaciona-se ao Esforço Mental e à Usabilidade Geral; na acessibilidade, evita a sobrecarga de escolha (WCAG; eMAG 6.1).
Erros de lógica são comuns e frustrantes. Mensagens que apontam o bloco problemático e sugerem correção transformam o erro em oportunidade de aprender a depurar. Relaciona-se à Prevenção e Recuperação de Erros, à Ajuda e à Eficácia; na UX, reduz a Resposta Emocional negativa.
Para quem nunca programou, a ajuda inclusa resolve dúvidas no momento em que surgem, sem sair do ambiente. Relaciona-se à Ajuda e à Facilidade de Aprendizado; na UX, ao Engajamento e à Estimulação.
AUXB-Q — o questionário do modelo
O Questionário de Avaliação de Acessibilidade, Usabilidade e Experiência do Usuário em Ambientes de Programação Baseada em Blocos padroniza a avaliação dos três eixos.
O AUXB-Q possui 107 sentenças organizadas em três eixos. As sentenças de acessibilidade seguem os quatro princípios da WCAG (Perceptível, Operável, Compreensível e Robusto), acrescidos de categorias de acessibilidade motora e cognitiva. As de usabilidade e UX vêm dos aspectos consolidados no agrupamento do MSL. Ao final de cada eixo, há um campo aberto para o respondente descrever livremente problemas e percepções.
AC Acessibilidade — 35 sentenças
Alternativas textuais, multimídia acessível, cor e contraste, redimensionamento, feedback multissensorial, navegação por teclado, foco visível, linguagem e legibilidade, acessibilidade motora e cognitiva, robustez e compatibilidade com leitores de tela.
US Usabilidade — 47 sentenças
US global, Facilidade de Uso, Eficácia, Eficiência, Satisfação, Aprendibilidade, Prevenção e recuperação de erros, Esforço Mental, Ajuda, Utilidade, Intenção de Uso e Progressão.
UX Experiência do Usuário — 25 sentenças
UX global, Estimulação, Prazer e diversão, Confiança, Interesse, Engajamento, Colaboração e Resposta emocional.
Escala de resposta
A maioria das sentenças usa uma escala Likert de 7 pontos: Discordo Totalmente · Discordo Fortemente · Discordo Parcialmente · Não Concordo, Nem Discordo · Concordo Parcialmente · Concordo Fortemente · Concordo Totalmente. A escolha se apoia em instrumentos consolidados como o USE e o IMI, que também usam sete pontos.
A sentença 23 do eixo UX (Resposta Emocional) é a exceção: em vez de concordância, o participante marca todas as emoções que vivenciou — entusiasmado(a), entediado, frustrado, ansioso, confortável, alegre, triste, com medo, com raiva, confuso(a).
Exemplos de sentenças
"Cada bloco de programação tem um texto escondido (que o computador lê em voz alta) dizendo o nome do bloco e o que ele faz, ajudando pessoas cegas a saber qual bloco estão usando."
"Consegui entender o que cada bloco fazia na ferramenta de programação em blocos no contexto da atividade."
"Senti vontade de continuar programando mesmo depois que a atividade terminou."
Responder o AUXB-Q [LINK AUXB-Q]
Como o MAUX-B é aplicado
Quem faz o quê, em que ordem e com quais instrumentos — dos especialistas aos estudantes.
As 7 perspectivas da inspeção
No Módulo 1, o especialista "veste a pele" de diferentes perfis de usuário para enxergar a ferramenta com outros olhos. Cada perspectiva tem objetivos, foco de inspeção e tarefas de exemplo:
| Perspectiva | Objetivo | Foco da inspeção | Tarefa de exemplo |
|---|---|---|---|
| P1 — Criança programadora iniciante | Montar uma história animada ou jogo simples | Compreensão imediata dos blocos, prevenção de erros, motivação, linguagem acessível | "O gato anda 80 passos, diz 'Cheguei!' e toca um som. Monte os blocos e execute." |
| P2 — Educador/facilitador | Planejar aulas, criar exemplos didáticos e avaliar projetos | Clareza da interface, organização dos blocos, salvar/compartilhar, galeria de projetos | "Prepare uma aula sobre laços: crie um projeto com o bloco 'repita' que desenhe um quadrado, salve e gere um link de compartilhamento." |
| P3 — Programador experiente | Resolver problemas complexos e criar abstrações | Eficiência, atalhos, blocos personalizados, exportação de código | "Crie uma função que desenhe um quadrado de lado variável e use-a em três lugares — sem o mouse, se possível." |
| P4 — Usuário com deficiência motora | Montar programa sem mouse | Navegabilidade por teclado, foco visível, tempo de acionamento, sem ações dependentes de arrastar | "Usando apenas o teclado, insira um bloco 'se…então' com condição de toque e um bloco de som." |
| P5 — Usuário com deficiência visual | Criar e executar programa com feedback auditivo | Blocos semanticamente descritos, navegação por teclado com leitor de telas, sonificação, contraste | "Com o leitor de telas ativo, abra a ferramenta, adicione um ator e faça-o tocar um som ao receber uma mensagem." |
| P6 — Usuário com deficiência intelectual | Completar sequências simples e compreender causa e efeito | Carga cognitiva, símbolos e pictogramas, instruções passo a passo, feedback positivo, modo simplificado | "Faça o gato andar 20 passos e depois falar 'Olá', usando os blocos com desenho de seta e balão de fala." |
| P7 — Usuário com deficiência auditiva | Criar programas com som sem depender de áudio | Alternativa visual para toda informação sonora, legendas ou Libras, independência de áudio | "Programe o gato para tocar uma nota ao pressionar a tecla 'A' e observe se aparece uma indicação visual do som." |
Módulo 1 — Avaliação por Especialistas
-
Inspeção da interface
O especialista percorre a ferramenta em busca de violações de acessibilidade, usabilidade e UX. Cada problema é associado a uma heurística (HA1–HA10) e registrado na planilha de coleta de dados.
-
Resposta ao AUXB-Q
Ao final da inspeção, o especialista registra sua percepção sobre a ferramenta respondendo ao AUXB-Q.
-
Análise e consolidação (moderador)
Os registros dos diferentes especialistas são analisados, os semelhantes são agrupados e os problemas são organizados por dimensão, aspecto e heurística.
-
Relatório do Módulo 1
Problemas identificados, heurísticas relacionadas, classificação dos achados e resultados do AUXB-Q. Este módulo pode ser concluído sozinho.
Módulo 2 — Avaliação Analítica (com estudantes)
-
Etapa 1A — Atividade na ferramenta
O estudante explora a interface realizando uma atividade previamente definida, seguindo um roteiro que diz o que fazer (sem ensinar como fazer).
-
Etapa 1B — Registros em paralelo
Durante a atividade, a tela é gravada e uma webcam registra as expressões faciais do estudante, para análise dos estados afetivos.
-
Resposta ao AUXB-Q
Após a interação, o estudante responde ao AUXB-Q, registrando sua percepção sobre acessibilidade, usabilidade e experiência de uso.
-
Análise e consolidação (moderador)
As respostas do AUXB-Q são analisadas, os estados afetivos examinados e a gravação da tela usada para localizar o momento em que cada manifestação ocorreu.
-
Relatório do Módulo 2
Resultados do AUXB-Q, estados afetivos identificados e acontecimentos observados durante a interação. Este módulo também pode ser concluído sozinho.
Atividades de exemplo
Tarefa 1 — Básica
Adicionar um ator e fazê-lo andar 10 passos.
Tarefa 2 — Intermediária
Criar um laço que faça o ator tocar 3 sons diferentes.
Tarefa 3 — Avançada
Criar uma interação simples: ao clicar no ator, ele muda de cor e diz "Olá".
Desenho de uma sessão (30 a 40 minutos)
| Momento | Duração | O que acontece |
|---|---|---|
| Boas-vindas e consentimento | 5 min | Explicar o objetivo e assinar o TCLE. |
| Questionário demográfico | 5 min | Idade, nível de ensino e experiência com programação em blocos. |
| Realização das tarefas | 15–20 min | O participante executa as tarefas enquanto o pesquisador observa e anota na planilha de observação (intervenção apenas se travar por mais de 2 minutos). |
| Debriefing | 5 min | O que foi mais difícil? O que mudaria? — dados qualitativos complementares. |
Planilha de consolidação
Cada problema identificado na inspeção é registrado em uma planilha de coleta e consolidação (adaptada da literatura de avaliação heurística), com: identificador do problema, especialista, data, ferramenta, tela/elemento, descrição, heurística (HA1–HA10), eixo (AC/US/UX), aspecto, severidade, evidência, sugestão de melhoria e campo de consolidação. Essa estrutura permite organizar, comparar e reunir os problemas encontrados pelos diferentes avaliadores.
Baixar modelo da planilha (CSV) [LINK PLANILHA] (versão oficial da planilha da pesquisa)
Estados afetivos e comportamentais
O autorrelato nem sempre conta a história toda — por isso o Módulo 2 combina questionário, gravação da tela e expressões faciais.
Uma avaliação positiva no geral não significa que o estudante não enfrentou dificuldades em momentos específicos. Para capturar esses momentos, o MAUX-B usa a identificação de estados afetivos por expressão facial, apoiada no EmoFAN — arquitetura de rede neural desenvolvida em parceria entre a Samsung AI de Cambridge e o Imperial College London — por meio do repositório EmoNet, que disponibiliza o modelo e os pesos pré-treinados.
O que o EmoFAN entrega
- Categorias faciais: versão com 5 categorias (neutralidade, felicidade, tristeza, surpresa e medo) ou 8 (acrescenta nojo, raiva e desprezo) — a escolha será definida após o estudo piloto;
- Valência: quão positiva ou negativa a manifestação aparenta ser;
- Ativação: nível de mobilização aparente, de calma a intensa;
- Pontos de referência faciais, usados no mecanismo de atenção do modelo.
Como a análise funciona
A gravação da tela mostra o que aconteceu na ferramenta; a gravação da face mostra as alterações observáveis junto a cada evento. A análise é feita por episódios: eventos relevantes da interface relacionados a manifestações faciais, comportamentos e relatos do AUXB-Q — registrados em uma planilha com 8 campos (evento, manifestação, valência/ativação, comportamento, ação, resultado, relato e interpretação).
Módulo 3 — Análise e Síntese Integrada
Quando especialistas e estudantes avaliam a mesma ferramenta, os resultados são colocados lado a lado.
O Módulo 3 não envolve nova coleta de dados: ele integra as evidências dos módulos anteriores em um joint display (exibição conjunta) — uma tabela ou matriz que cruza os achados dos especialistas com os comportamentos e estados afetivos dos estudantes, revelando como as informações se conectam.
Convergência
Achados dos especialistas e dos estudantes são compatíveis em relação a um mesmo aspecto — por exemplo, um problema previsto na inspeção que se confirma na prática.
Divergência
Os achados apresentam resultados distintos ou contraditórios — como uma manifestação facial negativa sem erros nem relatos negativos. A divergência é registrada e discutida.
Complementaridade
Os achados de um módulo acrescentam informações que ampliam ou explicam os resultados do outro — como uma dificuldade relatada no AUXB-Q que não gerou manifestação facial visível.
A partir dessas relações são elaboradas metainferências — interpretações resultantes da análise conjunta das evidências — que mostram quais problemas foram identificados pelos especialistas, como se manifestaram durante a interação e como foram percebidos pelos estudantes. Por fim, tudo é consolidado em um relatório com os principais problemas, as evidências e recomendações de melhoria para a ferramenta avaliada.
Próximos passos da pesquisa
Do mapeamento da literatura ao modelo validado: as fases do projeto de doutorado.
-
Síntese teórica ✓ concluída
Realizada no Mapeamento Sistemático da Literatura (MSL), que gerou a base da tecnologia de avaliação (o MAUX-B).
-
Validação de conteúdo
Avaliar a versão preliminar com um painel de 5 a 10 especialistas em IHC, acessibilidade, usabilidade e/ou UX, preferencialmente pela Técnica de Grupo Nominal (NGT), gerando uma versão consensuada do modelo.
-
Estudo piloto
Aplicar o modelo em 2 ou 3 ferramentas com um pequeno grupo de avaliadores (até 5 especialistas) e um grupo de usuários (20 a 30 estudantes), para testar clareza e viabilidade — e, em seguida, refinar os instrumentos.
-
Validação empírica
Aplicar o modelo em 4 a 6 ferramentas, com pelo menos 5 especialistas (Módulo 1) e usuários reais (Módulo 2): 10 estudantes típicos e 10 estudantes com deficiência por ferramenta — coletando evidências concretas das dificuldades.
-
Análise e consolidação
Comparar os resultados dos módulos, verificar a consistência interna do questionário com o Alfa de Cronbach, propor um escore geral de qualidade da ferramenta e desenvolver o manual de aplicação do modelo.
Contribuição metodológica
Um modelo padronizado e validado para avaliar simultaneamente usabilidade, acessibilidade e UX em ferramentas de programação em blocos.
Contribuição social
Promover a inclusão ao tornar a acessibilidade um critério central de avaliação, alinhado aos princípios da Educação Inclusiva e do Design Universal.
Participe da pesquisa
Sua participação ajuda a tornar as ferramentas de programação em blocos mais acessíveis e inclusivas para todas as pessoas.
Podem participar especialistas (com experiência em IHC, acessibilidade, usabilidade, UX e/ou educação em computação) e estudantes [FAIXA ETÁRIA/PERFIL]. As avaliações acontecem [PERÍODO], de forma presencial ou remota, na(s) ferramenta(s) [FERRAMENTA(S)].
Trilha do especialista — passo a passo
-
Leia e assine o termo de consentimento
Baixe o TCLE em [LINK TCLE] e confirme sua concordância antes de começar.
-
Preencha o cadastro
Informe seus dados e sua experiência em [LINK CADASTRO].
-
Inspecione a ferramenta
Percorra a interface de [FERRAMENTA(S)] com o apoio das heurísticas adaptadas (HA1–HA10), considerando as 7 perspectivas de inspeção.
-
Registre os problemas na planilha
Cada problema encontrado é associado a uma heurística e registrado na planilha de consolidação [LINK PLANILHA].
-
Responda ao AUXB-Q
Ao final da inspeção, registre sua percepção sobre a ferramenta em [LINK AUXB-Q].
-
Pronto!
O moderador consolida os registros e gera o relatório do Módulo 1. Tempo estimado: [TEMPO ESTIMADO].
Trilha do estudante — passo a passo
-
Autorização e consentimento
Menores de idade participam com autorização de um responsável. Baixe o TCLE/TALE em [LINK TCLE].
-
Preencha o cadastro
Informe seus dados em [LINK CADASTRO] — leva apenas alguns minutos.
-
Prepare o ambiente
Você vai precisar de um computador com internet, navegador atualizado e — para as sessões com gravação — uma webcam. Confira os requisitos técnicos.
-
Realize a atividade
Siga o roteiro da atividade na ferramenta [FERRAMENTA(S)]. Não existe resposta certa ou errada: o objetivo é observar como você usa a ferramenta com naturalidade.
-
Responda ao AUXB-Q
Conte como foi a sua experiência em [LINK AUXB-Q] — suas percepções são a parte mais importante da pesquisa.
-
Pronto!
A sessão completa dura de 30 a 40 minutos. Você pode encerrar sua participação a qualquer momento, sem qualquer prejuízo.
Requisitos técnicos
💻 Computador
Desktop ou notebook com acesso à internet.
🌐 Navegador
Atualizado (Chrome, Firefox, Edge ou similar).
🎥 Webcam
Para as sessões do Módulo 2 (gravação das expressões faciais).
⏳ Tempo
Cerca de [TEMPO ESTIMADO] por sessão, no período [PERÍODO].
Privacidade e ética
Perguntas frequentes
Não! Estudantes de qualquer nível de experiência podem participar — inclusive quem nunca programou. As atividades são pensadas para iniciantes.
As duas modalidades são possíveis. As instruções detalhadas são enviadas após o cadastro, conforme a agenda de [PERÍODO].
Não. As gravações são usadas exclusivamente para a análise da pesquisa, com os dados anonimizados. Nenhuma imagem sua é publicada.
A emissão de certificado/horas complementares será informada pela equipe no momento da inscrição [E-MAIL CONTATO].
Sim. A participação é voluntária e você pode interromper a qualquer momento, sem qualquer prejuízo.
Preencher cadastro Baixar TCLE Falar com a equipe
Contato: [E-MAIL CONTATO]
Equipe da pesquisa
Pesquisa desenvolvida no Programa de Pós-Graduação em Informática da UFPR, em parceria com o projeto Ada Blocks.
Ana Paula Juliana Perin
Mestranda em Informática (Informática na Educação) pela UFPR. Licenciada em Informática pela UTFPR; experiência em formação de professores e robótica educacional.
Deivid Eive dos Santos Silva
Doutorando em Informática na linha de pesquisa Interação Humano-Computador (IHC) pela UFPR, com atuação em educação em computação e avaliação de IHC.
Natasha Malveira Costa Valentim
Professora Adjunta do Departamento de Informática da UFPR, orientadora. Doutora em Informática pela UFPR, com pesquisa em IHC, educação em computação e materiais instrucionais.