CONCEPÇÃO E AVALIAÇÃO EM E-LEARNING

___________________________________________________________________________


Tema 1: A qualidade no ensino aprendizagem em contexto online: uma teia de factores


Actividade 1: Identificação do conjunto de factores apontados como responsáveis pelo sucesso/qualidade dos cursos online

A Actividade 1 teve como objectivo a análise de perspectivas sobre a qualidade em e-Learning, procurando constituir "um pano de fundo" onde emergem questões e factores a considerar na sua avaliação.

Descrição da actividade:

1) Leitura geral dos textos: "Approaches to E-learning quality Assessment" e "Reflections on Teaching and Learning Online: Quality program design, delivery and support issues from a cross-global perspective".

2) Divisão dos textos pela turma para tradução.

3) Junção dos contributos individuais e revisão global dos textos pela turma, tendo em vista apresentar a sua versão final. Apresentação no Forum da Actividade 1 até ao dia 10 de Novembro.

4) Identificação, por cada um dos alunos, a partir dos textos, do conjunto de factores apontados como responsáveis pelo sucesso/qualidade dos cursos online.

5) Discussão geral do grupo/turma tendo por base o ponto anterior. Discussão em Forum entre dias 11 a 15 de Novembro.

___________________________________________________________________________


Para a execução da primeira parte desta actividade referente à tradução dos textos propostos, procedemos à criação de uma página Wiki no PBWorks, onde cada colega teve a oportunidade de escolher a parte que pretendia traduzir.
Eu optei pelo capítulo 2, The Quality for e-Learning, do texto de Penna & Stara, Approaches to E-Learning Quality Assessment.
Após o trabalho individual de tradução, procedemos à revisão final do texto, trabalho que decorreu sem problemas de maior, e onde colaborei no auxílio a alguns colegas na tradução de algumas frases ou termos e na uniformização dos formatos do texto.

A minha parte traduzida foi esta:

2. A qualidade para o e-learning
De acordo com Pawlowski (2003), a qualidade no domínio do e-learning não está associada a uma medida bem definida. É variável no que diz respeito ao âmbito, à perspectiva, à dimensão. Apesar deste problema, a avaliação da qualidade está a tornar-se uma questão de importância crescente, como mostrou o interesse da ISO/IEC19796-1: 2005 e do Observatório Europeu da Qualidade (OEQ). A ISO/IEC19796-1:2005 é um enquadramento para descrever, comparar, analisar e implementar uma gestão da qualidade e abordagens de garantia de qualidade. Vai servir para comparar as diferentes abordagens existentes e para as harmonizar de forma a convergirem para um modelo comum de qualidade. A sua principal componente é o Quadro de Referência para a Descrição de Abordagens de Qualidade (QRDAQ).
Consiste nos seguintes itens: um esquema de descrição para a gestão da qualidade; um modelo do processo definindo os processos básicos a serem considerados na gestão da qualidade no domínio da aprendizagem, educação e formação suportadas pelas TIC, e uma declaração de conformidade para o formato da descrição. A ISO/IEC19796-1 descreve os processos como um ciclo de vida do e-learning. É um modelo referenciado com um alto nível de abstracção, que deve ser adaptado a uma dada organização. O modelo será utilizado como um enquadramento para a descrição, comparação e análise das abordagens de processos orientados para a qualidade (Hirata, 2006). Consiste essencialmente em duas partes:
• Um esquema de descrição para abordagens da qualidade.
• Um modelo de processo como classificação de referência.
O Modelo de Descrição é um esquema para descrever interoperativamente abordagens de qualidade (tais como linhas orientadoras, guias de design, requisitos) e documenta todos os conceitos de qualidade de forma transparente. O Modelo do Processo é um guia dos diferentes processos de desenvolvimento de cenários de aprendizagem e inclui os processos relevantes dentro do ciclo de vida dos sistemas de informação e comunicação para a aprendizagem, educação e formação. O Modelo do Processo é dividido em sete partes. Os sub-processos estão incluídos fazendo referência a uma classificação de processos. Em relação ao grupo de trabalho sobre a qualidade, está actualmente baseado em três subtarefas subsequentes, desenvolvendo mais ferramentas e suporte:
Parte 2: O "Modelo de Qualidade" harmonizará os aspectos dos sistemas de qualidade e as suas relações, e fornecerá orientação para todos os intervenientes. Não vai impor uma implementação particular mas, ao invés, focar-se-á nos seus efeitos. O modelo será extensível aos requisitos de determinadas comunidades.
Parte 3: Os "Métodos e Medidas Referências" harmonizarão os formatos para descrever os métodos e as medidas para a gestão e garantia da qualidade. Fornecerá uma colecção de métodos de referência que poderá ser usada para gerir e garantir a qualidade em diferentes contextos. Além disso, essa parte fornecerá uma colecção de medidas e indicadores de referência que poderá ser usada para medir a qualidade em processos, produtos, componentes e serviços.
Parte 4: O "Guia das Melhores Práticas e Implementações" fornecerá critérios harmonizados para a identificação das melhores práticas, linhas orientadoras para a adaptação, implementação e uso deste padrão, e conterá um rico conjunto de exemplos de boas práticas.
Em relação ao OEQ, tem que ser definido e aplicado um enquadramento comparável e adaptável visando estruturar abordagens da qualidade para um mercado comum Europeu e global para produtos e serviços educacionais. O repositório do OEQ é baseado nesta abordagem e conceito. O objectivo principal é fornecer uma plataforma detalhada para que desenvolvedores, gestores, administradores, decisores e alunos encontrem uma abordagem de qualidade adequada às suas necessidades. O OEQ fornece um enquadramento conceptual para a descrição e a harmonização das abordagens de qualidade. Ou seja, sugere um enquadramento de referência como um padrão de qualidade Europeu. O projecto está directamente ligado aos grupos de padronização do CEN/ISSS (Workshop de Tecnologias de Aprendizagem) e ISO/IEC JTC1 SC36, com o objectivo de transferir resultados das comissões de padronização para os utilizadores e vice-versa. Assim, disponibiliza um repositório baseado na Internet para a gestão da qualidade, garantia de qualidade e abordagens de avaliação da qualidade no campo do e-learning. Além disso, fornece recomendações para a utilização da gestão da qualidade, garantia de qualidade e abordagens da avaliação da qualidade para diferentes grupos-alvo (p. ex. utilizadores finais, administradores de HE, desenvolvedores) e para fins específicos (p. ex. melhoria de processos, transparência de produtos, objectivos de domínio específico, necessidades nacionais / regionais / locais). O projecto do OEQ espera que as seguintes linhas orientadoras possam dar forma à qualidade do e-learning em 2010:
(a) os alunos devem desempenhar um papel na determinação da qualidade dos serviços de e-learning;
(b) a Europa deve desenvolver uma cultura de qualidade na educação e na formação;
(c) a qualidade deve desempenhar um papel central na política de educação e formação;
(d) a qualidade não deve ser a preservação de grandes organizações;
(e) devem ser estabelecidas estruturas de suporte para fornecer assistência competente e orientada para o desenvolvimento da qualidade das organizações;
(f) os padrões de qualidade abertos devem ser mais desenvolvidos e amplamente implementados;
(g) a investigação interdisciplinar da qualidade deve estabelecer-se no futuro como uma disciplina académica independente;
(h) a investigação e a prática devem desenvolver novos métodos de intercâmbio;
(i) o desenvolvimento da qualidade deve ser concebido em conjunto por todos os envolvidos;
(j) devem ser desenvolvidos modelos de negócio adequados para os serviços no domínio da qualidade.
Como é possível verificar a partir das breves descrições das duas abordagens acima apresentadas, ambas tentam incluir todos os aspectos a ter em consideração na avaliação da qualidade do e-learning. O problema destes enquadramentos, no entanto, decorre da sua generalidade. Ou seja, eles pressupõem a ocorrência de processos onde faltam indicações concretas. Por outro lado, cada uma delas requer, para estar correctamente concebida ou controlada, um profundo conhecimento teórico e experimental em domínios como a psicologia, ciência da informação, engenharia de software e sociologia. Não apenas esse conhecimento não está actualmente disponível, como também será difícil torná-lo acessível mesmo num futuro próximo. Portanto, essas abordagens soam como listas de recomendações genéricas, cuja aplicação concreta é deixada apenas à fantasia (e não à ciência) de designers individuais.

___________________________________________________________________________


No ponto 4 desta actividade, esta foi a identificação que fiz, a partir dos textos, do conjunto de factores apontados como responsáveis pelo sucesso/qualidade dos cursos online:

Creio que não será nunca possível, à partida, garantir o sucesso da aprendizagem. Este dependerá de um conjunto muito alargado de vectores, designada pelo título da presente actividade como "teia de factores".
Com efeito, essa teia é tecida ao longo dos dois artigos que nos foram dados para analisar de forma distinta, com diferentes ênfases e responsabilizando de forma diversa os diversos agentes nela envolvidos.
O artigo "Approaches to e-learning Quality Assessment", de M. P. Penna e V. Stara, aborda:
• o Modelo de Sucesso do e-learning, processo dedicado a medir e avaliar o sucesso em e-learning, onde este é definido como uma construção multifacetada a ser avaliada em três fases sucessivas: o design do sistema, o sistema de entrega e os resultados do sistema (Holsapple e Lee-Post, 2006);
• o Modelo Conceptual (Klein et al., 2006), com particular ênfase na motivação para a aprendizagem, em que as características do aluno assumem um papel preponderante;
• o Modelo proposto por Lim et al. (2007), baseado na aprendizagem centrada no aluno (LCD), aponta cinco dimensões que contribuem para a eficácia da formação online: a motivação e a auto-eficácia do formando, o conteúdo do ensino, o nível de comunicação entre formador e formando, o ambiente organizacional e a facilidade de uso dos recursos on-line do website.
Por outro lado, o artigo "Reflexões sobre Ensino e Aprendizagem Online: Qualidade na concepção do programa, disponibilização e questões de suporte a partir de uma perspectiva transversal global", de F. Wiesenberg e E. Stacey, dá particular realce à concepção e à implementação do programa, aos suportes do ensino e da aprendizagem e à qualidade do apoio administrativo.
Assim, da leitura destes dois artigos, podemos concluir que, independentemente de vários outros factores envolvidos (meios financeiros e técnicos, apoio dos decisores e administrativo), há dois agentes preponderantes para o sucesso e para a qualidade num curso online: os professores/formadores e os alunos/formandos. Na qualidade do desempenho destes dois grupos residirá, fundamentalmente, a qualidade do ensino/aprendizagem.
Sendo o e-learning, essencialmente, a transferência de conhecimentos e competências via rede, caberá aos professores, neste contexto, um conjunto alargado de tarefas, que incluirá atribuições como:
• o profundo conhecimento dos conteúdos a ministrar
• o papel de administrador/gestor
• o planeamento e a concepção dos programas
• a implementação e o acompanhamento dos programas
• a concepção dos suportes de aprendizagem
• o design gráfico e instrucional
• tornar a tecnologia o mais possível invisível ou, pelo menos, amigável
• o apoio aos alunos nos meios técnicos a utilizar
• a criação de um clima de segurança, confiança, organização e interacção
• a gestão eficiente da sua carga de trabalho.
Da mesma forma, também os alunos terão que assegurar um não menos esforçado papel na demanda da qualidade na sua aprendizagem, devendo garantir:
• elevado grau de motivação, disciplina e responsabilidade, por forma a poder ter um papel activo no seu processo de aprendizagem
• gestão eficaz do tempo e dos recursos
• competência nos diversos meios técnicos utilizados no ensino a distância
• domínio de idiomas, nomeadamente o inglês, o francês e o castelhano
• facilidade em expressar-se por escrito
• pensamento crítico
• atitude colaborativa e dialogante.
Em suma, apesar de o ensino a distância ter lugar num meio vincadamente tecnológico, continua a residir nas pessoas e na qualidade do seu desempenho a chave para a obtenção de resultados e para alcançar o sucesso dos cursos online.

___________________________________________________________________________


Debate sobre o conjunto de factores responsáveis pelo sucesso/qualidade dos cursos online

Por fim, na discussão geral do grupo/turma, fiz as seguintes intervenções:

Caros colegas
Por motivos profissionais, apenas hoje me é possível apresentar a minha perspectiva sobre os factores responsáveis pelo sucesso/qualidade dos cursos online e dar a minha contribuição para este participado e intenso debate.
De entre as várias linhas de discussão em curso, esta parece-me a mais interessante e proveitosa.
Iniciou-se com uma questão colocada pela Maria João "Um curso que seja concebido com qualidade pode mesmo assim ser um curso de sucesso?", complementada com uma outra do Marcus "Um curso que seja concebido com qualidade garante ser um curso de sucesso?".
Em suma, é o conceito de sucesso de um curso online que está aqui em causa.
Antes de mais, creio que a aferição do sucesso de um curso dependerá do ponto de vista pelo qual este será avaliado. Entre outras entidades, ocorrem-me as seguintes:
• o aluno que o frequentou
• o professor que o ministrou
• a entidade promotora do curso
• a organizações onde o aluno desempenha a sua actividade profissional
• a comunidade (mais restrita ou mais alargada) onde se insere o aluno.
Assim, a definição do sucesso de um curso online será diferente para cada um dos grupos citados e dependerá dos objectivos traçados ou das expectativas acalentadas.
No caso do primeiro, a aquisição de competências e o aprofundamento dos conhecimentos será uma questão essencial. Porém, se a frequência do curso visava permitir a empregabilidade ou a progressão na carreira, e estas acabam por não se verificar, apesar de o curso ter proporcionado um inegável enriquecimento, é provável que o aluno não considere que o curso tenha tido sucesso.
Também no caso dos professores, é possível que, apesar de toda a competência e de todos os esforços colocados na implementação do curso, este não tenha tido, pelos motivos mais variados, os resultados esperados, não possibilitando a desejável aprendizagem.
Por outro lado, uma entidade que promoveu um curso, onde a qualidade do ensino foi elevada, permitindo uma eficaz e profícua aprendizagem, pode não ter ficado satisfeita com os seus resultados, bastando para isso que não se tenham registado as esperadas contrapartidas financeiras ou outras.
Por último, um curso ministrado com elevado índice de qualidade em todas as suas componentes, mas que não tenha tido um impacto positivo na actividade profissional, traduzível na melhoria do desempenho no local de trabalho, também não poderá ser incluído no lote dos cursos com sucesso.
Em contrapartida, é possível que, embora com uma probabilidade diminuta, um curso, apesar de não ter tido os níveis de qualidade desejável, seja considerado um sucesso por alguns dos seus intervenientes.
Citei estes exemplos com o propósito de apresentar situações onde se torne nítido que a qualidade de um curso não está, necessariamente, na proporção directa do sucesso alcançado.
A qualidade prende-se maioritariamente com factores intrínsecos do curso, enquanto o sucesso tem muitas vezes a ver com factores extrínsecos a esse mesmo curso.
Cumprimentos
Fernando Faria


Olá, Cecília
Afigura-se-me, de facto, difícil estabelecer uma definição de sucesso de um curso e a forma de o aferir.
Para muitas universidades portuguesas, uma forma de mensurar o sucesso de uma dada licenciatura é através da percentagem de alunos que conseguiram uma colocação no mercado de trabalho consentânea com a formação académica conseguida com a sua frequência.
Já em algumas instituições universitárias americanas, esse sucesso mede-se pelo número de presidentes dos Estados Unidos da América ou prémios Nobel saídos dos seus bancos.
Creio que a qualidade do ensino não conduz, necessariamente, ao sucesso dos alunos, mas "apenas" cria as melhores condições para que este se verifique.
Cumprimentos
Fernando Faria


Olá, Marco
Também sou da opinião que a qualidade de um curso e o seu sucesso são conceitos distintos. E os objectivos são fundamentais para a determinação do sucesso ou insucesso de um curso.
No Contrato de Aprendizagem da uc CAEL, lê-se o seguinte, quanto aos objectivos e às competências:
Objectivos:
Na uc Concepção e Avaliação em Elearning, o estudante é enquadrado na problemática da concepção de cursos de e-learning à luz dos referenciais sobre o design instrucional e da análise de modelos de avaliação da qualidade no universo da formação online.
O estudante deve aprender a definir princípios e processos de avaliação da formação em cursos online, identificando indicadores relevantes para a aferição da qualidade destes nas suas várias vertentes.
Pretende-se ainda, por outro lado, analisar a problemática da avaliação mas na sua perspectiva pedagógica, designadamente a avaliação das aprendizagens em contextos de formação online, seus fundamentos, suas modalidades, instrumentos e estratégias.
Competências:
Pretende-se que, no final desta uc, o estudante tenha adquirido as seguintes competências:
Ao nível da concepção/avaliação dos cursos,
• Clarificar conceitos correlacionados com a qualidade em e-learning;
• Fazer o levantamento do conjunto de factores que determinam a qualidade dos cursos online;
• Caracterizar diferentes modelos de desenvolvimento de cursos online;
• Analisar e fundamentar um modelo/instrumento de avaliação de cursos online.
Ao nível da avaliação pedagógica,
• Caracterizar perspectivas e processos de avaliação das aprendizagens em contexto online;
• Identificar diferentes modalidades e instrumentos de avaliação de aprendizagens em contexto online.
Estes são os objectivos desta Unidade Curricular. Porém, podemos equacionar, ainda, os objectivos de cada um dos alunos, do professor desta uc e da Universidade Aberta.
Será que poderemos medir o sucesso desta uc apenas pela consecução total ou maioritária destes objectivos e pela aquisição destas competências?
No minha opinião, enquanto aluno, não. O sucesso desta uc não se esgota nestes aspectos. Tem a ver também com os objectivos que levaram cada um dos alunos a inscreverem-se neste Mestrado, com a aplicabilidade dos seus conteúdos, com a forma como lhe permite enfrentar o mercado de trabalho, ou, meramente, com o prazer obtido com a sua frequência.
No entanto, aqui saímos da esfera de actuação do professor e da Universidade e entramos no domínio de cada aluno, com as suas expectativas e com as suas metas.
Se a uc for conduzida com qualidade pelo professor e trabalhada igualmente com qualidade pelos alunos, é altamente provável que os objectivos da uc sejam concretizados. Não obstante, isso não implicará, forçosamente, que os objectivos que os alunos tinham quando decidiram frequentar este Mestrado sejam atingidos.
Ou seja, creio que existem vários tipos de objectivos, por parte dos vários intervenientes. Daí ter referido, na minha exposição sobre os factores responsáveis pelo sucesso/qualidade dos cursos, os factores intrínsecos que condicionam a qualidade de um curso e os factores extrínsecos que possibilitam, ou não, o seu sucesso.
Cumprimentos
Fernando Faria


Boa noite, Helena
No seguimento desta troca de opiniões, gostaria de acrescentar algo àquilo que nessa altura escrevi e que só me ocorreu quando estava, posteriormente, a reflectir sobre assunto.
Além dos factores intrínsecos da qualidade e dos elementos extrínsecos do sucesso de um curso online, penso que uma outra dicotomia lhes está associada: o facto de a qualidade ser passível de ser avaliada e mensurada de forma objectiva, enquanto o seu sucesso só de forma subjectiva poderá ser aquilatado.
Assim, o que está ao alcance de um professor ou de uma instituição de ensino será apenas o empenho colocado na busca da qualidade na sua intervenção e no seu desempenho. O sucesso depende demasiadamente de variáveis não conhecidas, muito menos manuseáveis, por estes agentes.
Cumprimentos
Fernando Faria


Boa noite, Nuno
Essa afirmação "o seu sucesso só de forma subjectiva poderá ser aquilatada" prende-se com uma linha de raciocínio que tinha vindo a desenvolver e que defendia, no essencial, que o sucesso de um curso online teria a ver com a concretização das expectativas e dos objectivos dos seus alunos. E, muitas vezes, essas expectativas não se resumem apenas à aplicação prática das aprendizagens, tal como referes.
Creio que estás a reduzir o sucesso de um curso apenas ao impacto positivo no local de trabalho, através da melhoria do desempenho de um profissional. Isso, sim, é mensurável e objectivo.
No meu entender, o sucesso de um curso não é mensurável pelas classificações obtidas pelos formandos, nem pela aplicação prática das suas aprendizagens.
Os ganhos de eficácia ou de eficiência on job, por si só, não determinam o sucesso de um curso. Eventualmente, poderão justificar a sua realização e os custos que ele acarretou.
O sucesso de um curso é algo mais difuso, menos palpável. Tem a ver com aquilo que os agentes envolvidos esperavam dele. E isso é algo extremamente difícil de monitorizar e, consequentemente, de aferir. Daí me parecer que o sucesso de um curso só poderá ser julgado subjectivamente.
Cumprimentos
Fernando Faria

___________________________________________________________________________


Reflexão sobre a Actividade 1:

Na minha opinião, o êxito desta actividade deveu-se ao envolvimento e à participação de toda a turma, sem o que não seria possível levá-la avante, uma vez que convocava a intervenção de todos os colegas.
Assim, a fase da tradução decorreu sem grandes dificuldades e as que surgiram foram prontamente resolvidas através da ajuda de colegas.
Em relação à fase da discussão geral do grupo/turma, foi notória uma evolução em relação aos debates tidos no primeiro semestre, o que evidencia uma melhoria da turma neste aspecto. No entanto, foram manifestas as dificuldades resultantes de um debate com um número de intervenientes elevado, aspecto difícil de contornar, pelo menos para mim.
Esta tarefa teve o mérito de nos fazer adquirir competências e reflectir sobre os factores  responsáveis pelo sucesso/qualidade dos cursos online, elementos essenciais em qualquer curso a distância.

 ___________________________________________________________________________