Anàlisi de les activitats on-line

Tal com em van demanar les coordinadores del RACC Educa, estic efectuant una anàlisi de les activitats on-line, és a dir, dels jocs les quals els infants poden jugar. Principalment em van demanar una anàlisi de les aplicaciones que es farien, tant orals com dels textos, per poder valorar si les explicacions i les indicacions prèvies a la realització del joc són adequades als nens i nenes de cicle mitjà, així com el vocabulari emprat o les animacions de correcció que es van succeint mentre jugues al joc.

Ara que he començat l'anàlisi veig que el que em demanden és molt difícil. Primer perquè, malgrat conegui els nens i nenes de cicle mitjà i tingui experiència com a docent en aquestes edats, mai saps com funcionarà un joc o activitat a l'aula i, de vegades, activitats que et penses que són molt clares i adequades, poden suposar una dificultat pels alumnes. Per això penso que, a banda de l'anàlisi que estic fent, hagués estat bé poder comptar amb l'opinió dels docents i formados varia que ja han dut a terme l'activitat amb els seus alumnes. També hagués estat interessant fer una observació d'alguna sessió en què s'emprés el joc amb alumnes.

De moment, però, estic sola davant l'anàlisi dels jocs. Encara no he començat a fer l'enquesta telefònica als formadors viaris ja que no m'han proporcionat el seu telèfon. Em plantejo, de cara als qüestionaris dels formadors viaris, afegir preguntes respecte els jocs de cicle mitjà per poder fer una anàlisi més real.

Reunió per consensuar el procés d'avaluació

Ahir vaig tenir una reunió amb les coordinadores per tal de posar-nos al dia amb el procés d'avaluació del RACC Educa: compartir idees, opinions, consensuar... Com que hi ha dos processos d'avaluació oberts paral·lelament, vam tractar-los tots dos.

Primer vam començar amb l'avaluació des dels usuaris. Així, vam reunir totes les respostes que teníem dels docents del qüestionari sobre el RACC Educa. Davant de l'enviament del mail a 182 educadors, només havíem rebut 11 respostes. Jo pensava que les respostes estaven molt lluny de les mínimes per poder extreure unes conclusions, però les coordinadores em van dir que davant d'una enquesta enviada a una població, el mínim era aconseguir una representació del 10%. Per tant, com que sembla que no ens queden gaires respostes per tal d'assolir aquest 10%, vam decidir enviar un altre cop el formulari als docents que no l'havien contestat, i deixar-nos com a marge de temps per a rebre respostes el 13 de desembre, per després poder extreure'n les conclusions pertinents.

Pel que fa a les respostes dels formadors viaris, ens ha passat el mateix. Ara bé, com que diposem de les dades i dels telèfons dels formadors, hem decidit que faré els qüestionaris via telefònica, per tal d'aconseguir així el major nombre de respostes possibles.

Finalment, vaig presentar el document en què havia iniciat una avaluació de caràcter descriptiu, basada en les teories constructivistes de l'ensenyament - aprenentatge i en l'ús de les NTIC. Els va agradar molt l'instrument d'anàlisi, el van trobar molt útil per poder analitzar el RACC Educa de cicle mitjà, i em van proposar d'ampliar-lo per fer una anàlisi molt més acurada de cadascun dels jocs destinats als alumnes de cicle mitjà que començaré ara. I també m'han demanat que redacti un informe amb les conclusions de l'avaluació quan tingui tots els resultats i amb un llistat de propostes de millora que presentaran quan es reuneixin amb els responsables del RACC.

En general, la reunió va ser molt profitosa. Hem hagut d'anar superant alguns entrebancs, com la poca col·laboració amb les enquestes, però hem trobat solucions i plans alternatius per fer-ne front. També és cert que el calendari per acabar les pràctiques ens ha quedat una mica apretat degut a aquestes dificultats, però ja se sap... són els imprevistos de la pràctica real!

Qüestionaris d'opinió

Encara estic esperant a veure si rebo més respostes en els qüestionaris d'opinió de docents i formadors viaris sobre el RACC Educa. La veritat és que em fa por que tant d'esforç en crear uns formularis quedi en no res per una baixa participació...

De moment, us avanço els formularis que ja he enviat via e-mail als docents i els formularis per als formadors viaris.

Veureu que ambdós formularis s'assemblen pel fet que les dimensions a avaluar són pràcticament les mateixes, en canvi, els indicadors varien, ja que la manera d'emprar el programa per part dels docents i dels formadors viaris és molt diferent. Els docents l'empren a l'aula amb el seu grup-classe, bé emprant les simulacions dels jocs o bé donant d'alta a tot el grup-classe, mentre que els formadors viaris són convidats en un centre per fer una sessió sobre mobilitat a un o dos grups-classe que es fa a partir d'una simulació d'un joc.

La finalitat d'aquesta avaluació des dels usuaris del programa és entrar en contacte amb la realitat educativa de les aules, ja que el programa RACC Educa, tot i comptar amb la participació de docents en la seva creació, només fa dos anys que s'aplica a les aules i és interessant poder saber com funciona el programa realment en la seva aplicació als diversos centres.

Crear un instrument d'avaluació del RACC Educa

Després d'haver enviat via mail el formulari per als docents i els formadors viaris que han emprat el programa RACC Educa, toca esperar les respostes. Però com que encara no sabem la participació amb la que comptarem, cal començar una avaluació interna, que s'ha d'elaborar de forma conjunta amb les coordinadores del projecte.

Per tal d'iniciar aquesta avaluació del programa, dels materials i activitats que ofereix als alumnes de cicle mitjà, cal crear un instrument. En primer lloc, igual que es va fer en la creació dels formularis, cal establir uns indicadors. Ara bé, em torno a trobar amb la mateixa dificultat que dies enrere quan vaig crear els formularis: quins indicadors? com s'han de redactar?, etc.

Cercant bibliografia que em pugui ser de guia, sembla que torno al punt d'inici en el que em trobava. Un dels llibres que he consultat ha estat:

"Pérez, R; García, J; Martínez, C (coords.) (1995) Evaluación de programas y centros educativos. Madrid: UNED".

Aquest llibre esmenta que la tasca de construir indicadors d'avaluació és complexa i que suposa:

1. Establir un model teòric.
2. Identificar els components i dimensions a avaluar.
3. Especificar els indicadors sobre cada dimensió.

Per a la selecció d'imdicadors, cal emprar uns criteris:

• La informació que aporta l'indicador ha de ser rellevant i no manipulable.
• Ha d'aportar informació fiable i vàlida.
• Han de ser viables en la seva elaboració i recolecció.
• Han de ser útils en funció als destinataris als quasl van dirigits.

Davant d'aquestes primeres instruccions, la meva tasca ha estat cercar un model teòric per a efectuar l'avaluació, i per això he consultat diferents articles i llibres sobre avaluació de materials. La majoria d'informació que he trobat es refereix a instruments d'avaluació de materials curriculars en format paper. Mentre que l'avaluació de programes i materials didàctics en format TIC ha estat una mica més complicada de trobar, bàsicament, perquè són avaluacions que se centren molt en les característiques formals del programa (hipertextos, format web...), passant més per alt les característiques pedagògiques d'aquests.

Davant d'aquestes dues possibilitats em plantejo la possibilitat de començar a fer un instrument que em permeti avaluar el programa destinat als alumnes de cicle mitjà no només formalment, sinó també pedagògicament. Per això he començat a adaptar un formulari pensat per a materials curriculars en format paper, afegint o canviant indicadors per tal d'adaptar-los al format digital del RACC Educa, avaluant en tot moment les característiques formals del programa i les característiques pedagògiques, tot tenint en compte la naturalesa digital del programa. Això fa que la teoria de base per a l'anàlisi sigui la teoria constructivista del procés d'ensenyament - aprenentatge, aplicada, però, a les NTIC.

Ara ens enfrontem a un nou repte: crear un instrument que ens permeti analitzar i avaluar el RACC Educa en les seves dimensions rellevants i que empri uns bons indicadors que permetin fer una bona avaluació per poder elaborar unes bones propostes de millora del programa.

Les NTIC i la psicopedagogia

Amb aquest pràcticum he experimentat de primera mà què significa emprar les Noves Tecnologies de la Informació i la Comunicació en la feina del pscopedagog.

D'una banda, la comunicació via e-mail que estic mantenint diàriament amb les coordinadores del projecte, permet intercanviar idees i opinions, mantenint un contacte constant, tot i que sigui asincrònic en el temps i ens trobem en llocs distanciats en l'espai.

D'altra banda, l'ús del programa Dropbox em permet guardar arxius en un espai d'internet que puc compartir amb les coordinadores del projecte. D'aquesta manera he pogut anar construint el formulari d'opinió dels docents i dels formadors viaris de forma compartida, de manera que la tasca del psicopedagog s'emmarca dins del treball col·laboratiu amb la resta de professionals que també estan implicats, amb l'avantatge de poder fer-ho en diferents moments (temps) i espais.

També estic emprant per a crear i enviar els formularis d'opinió l'aplicació de Google Docs. Aquesta aplicació et permet crear un formulari amb preguntes de diferents tipus (obertes, de múltiple elecció...) i enviar-lo perquè el responguin els altres. Al mateix temps, quan algú a qui li he enviat em contesta, se m'afegeixen en una taula d'excel totes les respostes obtingudes, de manera que resulta molt fàcil poder fer-ne els gràfics i el recompte per poder efectuar un bon i ràpid anàlisi de les dades i de la informació obtinguda. Per tant, he pogut enviar un formulari d'opinió a un gran nombre de docents, més que si hagués hagut de fer l'enquesta telefònicament o personalment. Això m'ha de permetre conèixer l'opinió de docents molt diversos, d'escoles molt diferents..., de forma molt còmode, des de casa, sense desplaçar-me i estalviant un munt de temps.

Ara bé, l'ús de les Noves Tecnologies no és tot avantatges, també impliquen alguns inconvenients, des de que el programari falli, fins que no és el mateix emprar les noves tecnologies per comunicar-se que el contacte personal. És per això que amb les coordinadores del projecte ens anem veient al llarg de les fases del projecte, normalment un cop per començar-la, un a mitja fase del projecte i un altre per tancar-la.

També enviant els formularis d'opinió via mail, malgrat els he pogut enviar a molts docents, em falta el contacte personal bàsicament per dos aspectes. Primer, perquè amb el formulari via mail, hi ha una informació limitada per introduir i transmetre tot i que hi hagi preguntes obertes, doncs tenir la persona davant permet una comunicació més oberta. I en segon lloc, el fet de no tenir davant la persona que necessita la teva opinió i no conèixer de primera mà el programa d'avaluació del RACC Educa, pot fer sentir als docents desvinculats d'aquesta avaluació, podent contestar els formularis amb la mínima informació o, simplement, ignorant l'enquesta enviada.

Penso que hem de saber emprar les Noves Tecnologies com a psicopedagogs, les hem d'incorporar a la nostra tasca com una eina que pot ser de gran ajuda i profit. Però també cal tenir en compte quins inconvenients ens pot portar el seu ús i de quina manera els podem compensar.

Creació dels formularis d'opinió

Darrerament m'he estat centrant en l'elaboració d'uns formularis d'opinió que s'han enviat a tots els docents i formadors viaris registrats al RACC Educa. Aquests formularis han de ser l'instrument que permeti assolir 3 objectius:

• Conèixer l'experiència i l'opinió sobre les característiques i l'ús del programa dels educadors que empren el RACC Educa.
• Avaluar de forma qualitativa les activitats, els materials i els recursos del projecte destinats als alumnes de cicle mitjà.
• Avaluar qualitativament els materials i recursos didàctics destinats als educadors (docents, educadors vials i/o pares).

Els formularis havien de recollir l'opinió dels docents i dels fomadors viaris que empren o han emprat el programa RACC Educa. Per fer-los primer vaig començar fent una llista amb tot el que volia saber del que opinaven els docents, i una altra amb tot el que volia saber sobre l'opinió dels formadors viaris. Un cop feta la primera pluja d'idees de grans temes vaig començar amb el formulari. Però no m'hagués imaginat que fos tan complicat fer un formulari d'opinió!

Malgrat he cercat bibliografia, els consells i indicacions que he arribat a trobar han estat, bàsicament, de caràcter orientatiu: preguntes concretes, barrejar preguntes tancades i obertes, qualitatives i quantitatives... que facilitin un bon anàlisi però que també puguin recollir el màxim d'informació possible.

Del primer formulari al darrer s'han produït molts canvis, en els quals no he treballat sola, sinó sempre proposant i compartint idees i opinions amb les coordinadores del projecte, que també han anat guiant-me en la formulació de les preguntes d'acord amb el que els interessava saber per fer l'avaluació.

Finalment, i després de molts canvis, hem finalitzat els formularis i estan llestos per enviar. Contenen preguntes de diversa índole: respostes múltiples, valoracions d'escala o respostes obertes d'entre d'altres. Aquest qüestionari ens ha d'aportar informació sobre la valoració que fan els docents i formadors viaris de la qualitat del programa educatiu i de la seva aplicació a l'aula, i de com empren i apliquen el programa a les aules.

El treball ha estat llarg i dur, principalment perquè és difícil triar aquelles preguntes rellevants i formular-les de la millor forma per poder-ne extreure la màxima informació, però alhora tenint present que aquesta ha de ser fàcil de recopilar i analitzar.

Encara no sé si hi haurà gaire gent que respongui el formulari que enviarem via mail, esperem que sí! I que aquestes opinions ens permetin fer una bona avaluació del programa.

 
 

Inici de la fase 2: Anàlisi i avaluació del projecte

En aquesta segona fase és on s'inicia pròpiament l'avaluació del programa. Per a aquesta fase eren tres els objectius plantejats:

• Establir uns criteris per a l'avaluació de les activitats, els materials i els recursos que configuren el projecte.
• Avaluar de forma qualitativa les activitats, els materials i els recursos del projecte destinats als alumnes de cicle mitjà.
• Avaluar qualitativament els materials i recursos didàctics destinats als educadors (docents, educadors vials i/o pares).

Ara bé, a la darrera trobada que vaig tenir amb les coordinadores del projecte, vam acordar d'iniciar l'avaluació del projecte des de l'opinió i l'experiència dels ususaris, és a dir, dels educadors que empren el RACC Educa a les aules. Per tant, caldrà afegir un objectiu referent a aquesta avaluació que fan els usuaris:

• Conèixer l'experiència i l'opinió sobre les característiques i l'ús del programa dels educadors que empren el RACC Educa.

En aquest sentit, conèixer l'opinió dels usuaris persegueix la finalitat de permetre que el programa educatiu pugui ésser avaluat no només des de la vessant més teòrica, sinó des de la pràctica que s'està desenvolupant a les escoles.

Per tant, en aquesta nova fase s'afegeix al fet d'haver d'efectuar una avaluació de caràcter intern del programa, una avaluació des dels usuaris que l'empren i que s'efectuarà, en un inici, a partir de qüestionaris que els docents respondran via e-mail. Això ha de permetre realitzar una recollida de dades molt àmplia (hi ha més de 200 docents registrats i més de 100 formadors viaris), però també planteja problemes el fet d'enviar un qüestionari via e-mail:

• Tothom participarà?
• Tindrem prou dades per fer l'avaluació?
• Haurem de cercar altres maneres de registrar informació?

Reflexions entorn la primera fase

Ara que he iniciat la segona fase, és moment de fer una parada i valorar com ha anat aquesta primera fase que, en definitiva, ha estat una primera presa de contacte amb el programa educatiu RACC Educa i amb el procés d'avaluació d'un programa educatiu.

En primer lloc, cal dir que he assolit tots els objectius que em proposava:

• Analitzar la tipologia de les activitats, materials i recursos didàctics destinats als alumnes de cicle mitjà.
• Conèixer el tipus de materials i recursos educatius didàctics destinats als educadors, docent i/o pares dels infants de cicle mitjà.
• Comprendre la filosofia, les finalitats i els criteris didàctics i pedagògics del projecte RACC Educa.

Al llarg de les diferents sessions, no he tingut grans dificultats per a crear un usuari i donar d'alta a un suposat grup classe, ni per accedir a tots els materials, activitats i recursos del RACC Educa.

En canvi, sí que he trobat dificultats a l'hora d'analitzar la tipologia dels recursos, materials i activitats, ja que, malgrat m'havia proposat de fer un primer contacte amb el programa des d'un punt de vista objectiu, m'he adonat que això no ha estat així, doncs a mida que anava analitzant les caracterísiques bàsiques del programa, sense voler-ho, m'estava creant una opinió, l'estava valorant des del meu punt de vista. En aquest sentit, ha estat interessant poder ser conscient de quin és el punt feble que pot tenir un psicopedagog quan realitza una avaluació.

Durant aquest procés de coneixement del programa, les dues coordinadores han estat al meu costat, obertes a totes les preguntes, a resoldre'm qualsevol dubte, a explicar-me com funciona el programa, des de quan s'aplica, quina és la filosofia, com treballen en equip... En tot moment hem estat en contacte, ja sigui a través de reunions presencials o via e-mail.

En general, estic satisfeta amb el resultat d'aquesta primera fase, doncs he pogut conèixer el programa, ja sigui accedint a les activitats i materials d'aquest, com compartint les experiències que han tingut les coordinadores del projecte. Crec que aquesta primera fase és un bon punt de partida per a la segona fase que començarà amb l'avaluació del programa pròpiament dita.