Investigació de la Tesi Doctoral de Pere Marquès Graells: "Software Educatiu: una metodologia pel seu disseny i desenvolupament" dirigida per la Dra. Immaculada Bordas Alsina (UB - 1991)

En aquest capítol presentem la investigació realitzada a l'hora de fer l'avaluació externa del programa EXPERT, un dels materials elaborats a partir de la metodologia per al disseny i desenvolupament de software educatiu que hem proposat al capítol anterior.

L'experimentació del programa es va realitzar en un grup de centres d'E.G.B. de Catalunya, i la seva finalitat va ser realitzar l'avaluació externa del programa i analitzar aspectes rellevants de la seva projecció a la realitat escolar.

A més, amb aquesta investigació, que s'inscriu sota el model d'investigació qualitativa, pensem que fem dues aportacions:

- D'una part, validem la metodologia de disseny i desenvolupament de software educatiu presentada, ja que el programa EXPERT, un dels seus productes, demostra amb els resultats de l'avaluació la seva qualitat i funcionalitat didàctica.

- Per una altra part, creiem que el model d'experimentació proposat, senzill i obert, pot ser fàcilment utilitzable per part de professors i investigadors per avaluar altres programes i, a partir dels seus resultats, cercar noves maneres d'utilització del software educatiu que permetin conèixer i aprofitar els avantatges reals que poden aportar.

Dividim l'exposició de la nostra investigació en 6 apartats que constitueixen l'ÍNDEX DEL CAPÍTOL:

 El disseny d'aquesta investigació, que s'insereix en el context del desenvolupament de la nostra Tesi, va començar amb la determinació dels objectius de la recerca; a partir d'aquests, i de les característiques del programa EXPERT, vàrem plantejar unes hipòtesis de partida que canalitzessin el nostre treball.

A continuació vàrem seleccionar la mostra de centres d'E.G.B. on havíem d'experimentar el programa, el pla de treball que calia seguir i la metodologia que havíem d'emprar en la recerca.

Així doncs, en aquest apartat dedicat al disseny de la investigació descriurem amb detall cada una d'aquestes fases:

- La investigació i el seu context.

- El programa a avaluar: l'EXPERT.

- La definició dels objectius bàsics de la investigació

- El plantejament d'unes hipòtesis.

- La definició de la mostra.

- El plantejament de la investigació. Pla de treball.

- La metodologia que s'ha d'utilitzar.

D'acord amb la metodologia de disseny i de desenvolupament de software educatiu que presentem al capítol tercer d'aquest treball, una vegada avaluat internament el programa i disponible la versió ß-test, cal fer-ne l'avaluació externa, és a dir, una avaluació realitzada per estudiants i professors aliens a l'equip que ha intervingut en el projecte. Les seves opinions i els seus suggeriments permeten comprovar la qualitat i funcionalitat del programa en situacions educatives concretes, i també serveixen per determinar els darrers retocs que cal introduir-hi abans de donar el producte per acabat.

En aquest context, i considerant que l'experimentació i l'avaluació d'aquests materials en la realitat escolar és fonamental, tant per millorar la qualitat dels productes finals com per trobar-ne les formes idònies d'utilització, s'inscriu la nostra investigació, que consisteix en l'experimentació del programa EXPERT en 8 entorns educatius diferents, la seva avaluació feta per professors i alumnes i l'anàlisi dels resultats obtinguts.

A més a més, amb aquesta investigació centrada en l'avaluació externa del programa EXPERT també ens proposem validar la metodologia presentada en aquest treball (amb els resultats positius de l'avaluació del programa) i posar a prova aquest model d'experimentació de software didàctic que pensem que podrà ser d'utilitat per altres professors i investigadors.

El programa EXPERT és el darrer programa elaborat a partir de la metodologia que es presenta en aquesta tesi, i per tant és el que ha seguit d'una manera més rigorosa les seves fases i l'aplicació de les seves tècniques. No obstant això, l'equip que l'ha desenvolupat ha estat integrat per un reduït nombre d'especialistes: el dissenyador (que és el doctorand d'aquesta tesi) i un programador han desenvolupat la majoria dels treballs, assistits per diversos col.laboradors.

A continuació descrivim amb detall els trets més característics del programa, que, com ja hem indicat, hem tingut en compte a l'hora de dissenyar la investigació:

- Presentació. EXPERT és un entorn de resolució de problemes, obert, multitemàtic i programable, dotat d'un sistema tutorial d'ajuda a l'alumne. Proposa problemes, proporciona instruments per facilitar-ne la resolució i, si cal, assessora els estudiants durant el procés que segueixen en el seu treball. En aquest sentit, EXPERT es comporta com un professor: presenta problemes als seus alumnes, observa amb atenció el procés que segueixen per arribar a la solució, els adverteix dels errors en el moment que es produeixen i els ajuda a superar-los, tot reconeixent i respectant la multiplicitat de camins possibles per a la seva resolució.

A més a més, mitjançant els ajuts que ofereix propicia l'aprenentatge d'una metodologia general per a la resolució de problemes, de manera que contribueix a assolir d'un important objectiu educatiu que sovint els estudiants tenen mal assumit.

 - Continguts. És un programa multitemàtic. Les col.leccions de problemes que, a manera d'exemple, s'han desenvolupat fins ara permeten resoldre problemes i reforçar la comprensió d'algunes lleis i conceptes bàsics sobre els temes:

No obstant això, com que EXPERT és també un programa obert, els professors i els alumnes poden elaborar noves col.leccions de problemes, i d'aquesta manera adequar el programa a les necessitats del seu context educatiu.

Característiques dels problemes. Els problemes que gestiona l'entorn EXPERT s'han de resoldre mitjançant l'aplicació d'un fórmula que inclogui una incògnita i 1, 2 o 3 variables relacionades mitjançant una llei expressable amb una equació de primer grau: y=f(v1,v2,v3)

- Destinataris. EXPERT resultarà especialment útil per als alumnes d'Ensenyament Secundari Obligatori, a partir de 12 anys. No obstant això, el seu ús pot perllongar-se fins a cursos superiors: Batxillerat i Mòduls Professionals.

La metodologia que hi aprendran els serà útil per a qualsevol matèria on calgui resoldre problemes: matemàtiques, química, física, càlcul mercantil...

Per assegurar l'eficàcia del programa convé que els usuaris compleixin uns requisits:

- Hardware i software necessari. Per utilitzar el programa EXPERT cal un ordinador compatible PC, amb un mínim de 640 bytes de memòria RAM, pantalla gràfica CGA i versió 3.0 (o posterior) del sistema operatiu MS/DOS.

És aconsellable disposar de disc dur, especialment quan es tingui previst crear noves col.leccions de problemes. En aquest cas convé que quedin uns 100 kbytes lliures al disc.

Una impressora també resultarà útil en dues circumstàncies concretes:

 - Creació de nous materials. Els professors i els alumnes usuaris del programa EXPERT poden crear fàcilment nous materials complementaris:

De totes les seves característiques potser la més rellevant és que l'algorisme del programa detecta 100 possibles accions dels alumnes al llarg del procés de resolució de qualsevol problema. Quan alguna d'aquestes actuacions resulta errònia, el programa, a través del sistema d'ajuda, proporciona informació específica a l'estudiant perquè reflexioni sobre aquest punt i continuï la recerca de la solució del problema per un dels possibles camins correctes.

D'acord amb el context en què s'inscriu aquesta investigació centrada en l'experimentació del programa EXPERT, ens varem fixar els següents objectius bàsics :

Tots aquest objectius es van tenir en compte a l'hora de plantejar les hipòtesis prèvies de treball per a la investigació que descrivim a continuació.

A partir de les característiques del programa EXPERT i de la definició dels objectius que es pretenen amb aquesta investigació, descrits al punt anterior, vàrem plantejar les hipòtesis següents:

- En relació amb el programa:

- En relació amb la motivació i la intensitat del treball dels alumnes (quantitat d'exercitació respecte al temps invertit).

- En relació amb la informació retinguda.

- En relació amb el model d'investigació.

- En relació amb la metodologia per al disseny i el desenvolupament de software educatiu que hem proposat.

Una vegada definides aquestes hipòtesis, a fi d'obtenir informació per validar-les vàrem definir una mostra sobre la qual poder experimentar el programa, un pla de treball, una metodologia i uns instruments, aspectes dels quals ens ocupem en els següents punts del present treball.

Les característiques del programa EXPERT el fan especialment indicat per als estudiants que cursen el Cicle Superior d'E.G.B. o l'Ensenyament Secundari Obligatori a partir de 12 anys. Per això vàrem decidir que la seva experimentació es realitzés amb alumnes d'aquests nivells educatius.

Per a realitzar l'experimentació del programa es van seleccionar 8 escoles d'E.G.B. de Catalunya. Atès que encara hi ha poques escoles catalanes dotades d'aula informàtica, la selecció es va realitzar de manera estratificada, no a l'atzar, procurant que reunissin un ampli ventall d'alumnes i situacions educatives possibles i a partir d'un conjunt de variables: tipus de gestió, ubicació i nivell sòcio-cultural.

Les escoles seleccionades varen ser:

Considerades conjuntament aquestes escoles ofereixen les següents característiques:

- Tipus d'alumnes (segons les opinions dels seus professors):

Per tant, vàrem recollir una mostra d'uns 240 estudiants que considerem que reuneix els perfils d'alumnes (compresos entre 12 i 14 anys) més freqüents a les escoles del nostre país.

A cada una de les escoles la investigació s'havia de desenvolupar d'una manera individualitzada i en tres etapes: la presentació del programa EXPERT als centres avaluadors, la realització de l'experiència i, finalment, el buidat de dades, la seva anàlisi i l'elaboració de conclusions. Cada una d'aquestes etapes la vàrem dividir en diferents fases, de manera que el pla de treball resultant va ser el següent:

- Etapa de presentació i de contacte amb el programa. Considera 4 fases:

- Etapa experimental. Aquesta és l'etapa central de la investigació, en què es du a terme l'experimentació del programa amb els alumnes. Considera 5 fases:

- Etapa d'anàlisi dels resultats. Aquesta etapa, tercera i darrera de la investigació, ha de proporcionar uns resultats que configurin l'avaluació externa del programa EXPERT i permetin verificar o rebutjar les hipòtesis prèvies. Considera 2 fases:

Aquest pla de treball que acabem de descriure es va dur a terme rigorosament al llarg dels 5 mesos que va durar la investigació, del març al juliol de 1991.

4.1.7. LA METODOLOGIA QUE S'HA D'UTILITZAR.

El mètode d'anàlisi utilitzat en aquesta investigació ha estat el qualitatiu, i la recerca de dades s'ha fonamentat en la utilització de qüestionaris, proves de control (prèvies i posteriors a la utilització del programa), informes, entrevistes amb els avaluadors i observacions directes.

Aquests mitjans ens han permès realitzar una triangulació de persones i dades, que ens ha proporcionat una visió global de la valoració que els experimentadors (professors i alumnes) han fet dels diferents aspectes del programa, de la seva interpretació sobre el valor formatiu i didàctic que ha tingut per a ells,i dels efectes que ha produït el seu ús en els alumnes.

Cada mitjà utilitzat ha proporcionat una part de la informació que hem utilitzat per contrastar amb les hipòtesis plantejades. Així:

En el proper apartat es descriuen amb més detall els diferents materials utilitzats en la investigació. El quadre següent sintetitza els aspectes considerats en el disseny de la investigació:

En aquest apartat es descriuen els diferents materials (programes, fulls explicatius, fitxes de seguiment de la investigació en els diferents centres, qüestionaris i altres instruments per a la recerca de dades) que s'han utilitzat en la investigació i que van ser elaborats o adaptats específicament amb aquesta finalitat.

Aquests materials han estat:

- Els dossiers de la investigació.

- Les fitxes de centres avaluadors.

- Les col.leccions de problemes.

- Les proves de control.

- Els informes de l'ordinador.

- Els qüestionaris dels alumnes.

- Els qüestionaris dels professors.

Els dossiers de la investigació contenen informació general sobre l'avaluació que s'ha de realitzar, i es van lliurar als professors dels centres seleccionats per a la investigació en començar la primera reunió amb ells. Inclouen diversos materials:

- Informació general sobre l'avaluació que s'ha de realitzar. Aquesta informació està organitzada en els següents apartats:

- Pla de treball i temporalització de les seves fases. És un document que descriu el pla de treball que hem comentat a l'apartat anterior a propòsit del disseny de l'avaluació.

- Fitxa resum i documentació sobre el programa que s'ha d'experimentar: l'EXPERT. Els aspectes que es contemplen a la fitxa són aquests:

- Software: el programa que s'ha d'experimentar. El dossier inclou documentació sobre el programa i un disc amb els arxius informàtics:

El contingut d'aquests dossiers va proporcionar als professors que van col.laborar en la investigació una visió global del treball que calia realitzar i de tots els materials necessaris per dur a terme la primera etapa de la investigació: l'etapa de presentació i de contacte amb el programa.

4.2.2.- LES FITXES DELS CENTRES AVALUADORS (veure detall al final de document).

Les fitxes dels centres avaluadors van servir per recollir determinades informacions generals sobre els centres que van participar en la investigació, sobre els professors avaluadors, sobre els alumnes, sobre la metodologia utilitzada pels professors a l'hora d'organitzar les sessions de treball i sobre les seves impressions al llarg de l'experimentació.

Constitueixen uns documents que, conservats pels directors de la investigació, van facilitar el seguiment dels plans de treball de les diferents escoles i el recull d'informació complementària a la proporcionada pels qüestionaris. Inclouen els següents apartats:

- Dades generals. Dades sobre el professor avaluador, l'escola i els alumnes; entre elles, els telèfons de l'escola i el particular dels professors.

- El pla de treball i el seu seguiment. La fitxa de cada centre contenia la planificació temporal establerta pel professor experimentador a la primera reunió i les dates reals en què es van anar realitzant les fases de la investigació.

- L'escola. Algunes de les seves característiques: ubicació, tipus de centre...

- Els alumnes. Algunes de les seves característiques: nivell sòcio-cultural, nivell escolar, llengua habitual...

- La infrastructura de l'aula informàtica. Aspectes com: l'espai físic, els ordinadors disponibles, les característiques de les màquines...

- L'organització de l'experimentació. Les decisions preses pel professor sobre el nombre d'alumnes per ordinador, la manera d'agrupar els estudiants, el nombre de sessions, el temps d'interacció en cada sessió...

- La temàtica dels problemes. El tipus de problemes que es poden treballar amb l'ajut del programa EXPERT.

- La metodologia utilitzada. Aspectes com: treballs previs a classe, instruccions als alumnes, grau de llibertat d'actuació dels estudiants davant el programa, paper del professor...

- Observacions del professor sobre els alumnes. Facilitat en l'aprenentatge del maneig del programa, motivació, preguntes més freqüents...

- Valoració dels resultats pel professor. Les seves impressions sobre la utilitat didàctica del programa.

Aquestes fitxes de centres avaluadors van constituir un instrument eficaç per al seguiment de les dues primeres etapes de la investigació: l'etapa de presentació i de contacte amb el programa i l'etapa experimental.

4.2.3.- LES COL.LECCIONS DE PROBLEMES.

Els professors experimentadors de cada escola van elaborar, amb l'ajut del programa-utilitat GESTOR, les col.leccions de problemes que havien d' utilitzar amb els alumnes per a l'experimentació del programa EXPERT (vegeu l'annex 2.3). En alguns casos van aprofitar alguna de les col.leccions de problemes que havien rebut d'exemple en el dossier de l'avaluació per adaptar-les a la seva conveniència (afegint-hi problemes i modificant-ne).

L'elaboració dels problemes pels mateixos professors de cada escola va permetre comprovar la funcionalitat del programa-utilitat GESTOR, i alhora va assegurar que la temàtica dels problemes fos la més convenient per al desenvolupament curricular dels alumnes, i que el vocabulari emprat i el nivell de dificultat fos també l'habitual en cada cas concret. Tot això no s'hauria aconseguit si els directors de la investigació haguéssim preparat una col.lecció de problemes estàndard sobre una temàtica determinada per utilitzar en totes les escoles experimentadores, ja que hauria constituït una inserció artificial en les realitats educatives de les escoles.

D'acord amb les característiques del programa EXPERT, tots els problemes tenien una propietat comuna: la seva resolució implicava l'aplicació d'una llei explicitada mitjançant una única equació de qualsevol dels següents tipus:

Per altra part, vàrem definir uns nivells de dificultat possibles en els problemes a partir dels següents criteris binaris:

- Dificultats numèriques. Existeixen quan les dades dels problemes tenen nombres decimals; si totes les dades són nombres enters considerem que no es dóna aquest tipus de dificultat.

- Dificultats del llenguatge. Existeixen quan l'enunciat que descriu la situació problemàtica no està redactat de la manera més clara i explícita possible.

Per exemple, en un problema de geometria, quan diu "quants metres de filferro caldran per cercar un terreny pentagonal...", en lloc de dir "calcula en metres el perímetre d'un pentàgon..."

- Dificultats operacionals. Existeixen quan, abans d'aplicar la fórmula que permet resoldre el problema, cal efectuar alguna operació prèvia per transformar les dades de l'enunciat: transformació de fraccions a decimals, canvis d'unitats...

A partir d'aquests criteris, quan en un problema no es donava cap d'aquestes dificultats, el consideràvem de nivell de dificultat 1; si hi identificàvem una d'aquestes dificultats, llavors el consideràvem de nivell 2, i si en tenia més d'una el problema quedava tipificat com de nivell 3. Aquesta classificació dels problemes en tres tipus de nivell de dificultat ens resultava adequada a les característiques del programa EXPERT, que pot reconèixer tres nivells de dificultat en els problemes que gestiona.

A més d'aquests criteris per classificar els problemes segons un nivell de dificultat, per a cada temàtica vàrem fer un estudi dels tipus de problemes possibles tenint en compte la fórmula que cal utilitzar en la seva resolució.

Establertes aquestes categories, vàrem recomanar als professors que cada col.lecció de problemes contingués exemples de cada tipus i de cada nivell de dificultat.

Les proves de control, inicial i final, van ser els instruments utilitzats per mirar de determinar els aprenentatges realitzats pels alumnes al llarg de la seva interacció amb el programa. El seu objectiu és mesurar els coneixements dels alumnes abans i després d'interactuar amb el programa EXPERT, de manera que la seva comparació permeti fer una avaluació de les possibles millores dels estudiants.

Aquestes proves, igual com les col.leccions de problemes, varen ser elaborades (i més tard corregides) a cada escola pels professors experimentadors, amb el nostre assessorament i d'acord amb el tema elegit per treballar amb els alumnes. D'aquesta manera també es va assegurar que a cada escola la redacció dels problemes i els criteris de correcció fossin els habituals, cosa que no s'hauria aconseguit si la redacció i la correcció de les proves hagués estat en mans dels directors de la investigació.

En tots els casos les dues proves (inicial y final) van ser similars, tant en el nombre de problemes com en dificultat. Es va recomanar als professors que tinguessin presents els tipus de problemes i criteris de dificultat establerts a l'hora de preparar les col.leccions de problemes, i es va suggerir la següent estructura per a cada una de les proves:

- Un problema dels més fàcils possibles dins de la temàtica tractada.

- Un altre dels més difícils.

- I tres més a l'atzar d'entre els de la col.lecció de problemes a utilitzar amb el programa EXPERT, un de cada nivell de dificultat (s'entén que serien problemes del mateix tipus que els de la col.lecció, no els mateixos problemes).

El programa EXPERT va ser preparat per gravar al disc de l'ordinador informació sobre el treball realitzat per cada alumne, de manera que, posteriorment a la sessió de treball amb el programa, els professors podien consultar i llistar per impressora uns informes dels alumnes. D'aquesta manera es va poder fer un bon seguiment de l'activitat desenvolupada per cada estudiant i de les seves dificultats l'hora de resoldre els problemes que li proposava l'ordinador.

Aquests informes de l'ordinador  tenen en compte per a cada alumne els aspectes següents:

- Nom de l'alumne. L'ordinador el coneix perquè els alumnes escriuen el nom en començar a treballar amb el programa.

- Col.lecció de problemes treballada i data. L'alumne, després d'escriure el nom, pot triar la col.lecció de problemes amb què vol treballar d'entre les que hi

hagi disponibles al disc de l'ordinador. La data és la data que s'ha donat al sistema en connectar l'ordinador.

- Nombre de problemes treballats. L'informe classifica els problemes treballats pels alumnes en tres grups:

- Temps invertit en la sessió. L'informe indica el temps, en minuts, que l'alumne ha treballat amb l'EXPERT.

- Puntuació obtinguda. Es proporciona una doble valoració del treball desenvolupat per l'alumne:

- Nombre de cada un dels problemes treballats. Aquesta informació permet determinar quins són els tipus de problemes que resulten més difícils, en general, als alumnes. A més a més, l'informe torna a classificar els problemes en tres grups:

 4.2.6.- ELS QÜESTIONARIS DELS ALUMNES.

Els qüestionaris dels alumnes es van elaborar a partir del model de qüestionari per a l'avaluació externa de software educatiu per part dels alumnes que hem presentat al capítol anterior.

L'estructura d'aquest qüestionari amb què els estudiants van avaluar el programa EXPERT va ser la següent:

A les 14 qüestions tancades (un 60% del qüestionari), els alumnes només havien de contestar SÍ o NO a determinades afirmacions segons el grau de conformitat. Les 9 preguntes restants (un 40% del qüestionari) eren preguntes obertes posades amb la finalitat de contrastar les respostes dels alumnes amb les dades dels informes de l'ordinador i sobretot per recollir-ne les dades, els suggeriments i les opinions.

Els qüestionaris dels professors també es van elaborar a partir del model de qüestionari per a l'avaluació externa de software educatiu per part dels professors que hem presentat al capítol anterior. La seva estructura queda sintetitzada al quadre següent:

Les 48 qüestions tancades (84% sobre el total) exigien als professors que valoressin determinades afirmacions de 0 a 5 segons el seu grau de conformitat. Les 9 preguntes obertes (16% sobre el total) tenien com a objectiu recollir-ne les dades personals, les opinions i els suggeriments per millorar el programa.

A més a més tenien tres preguntes obertes: " suggeriments per a millorar el programa EXPERT", "problemes sorgits al utilitzar el programa GESTOR", "suggeriments per a millorar el programa GESTOR"

El quadre següent resumeix els materials que es van elaborar per a la investigació:

El desenvolupament de l'experimentació als centres avaluadors es va realitzar segons les fases del pla de treball previst; en molts casos, però, les dates no foren les que s'havien fixat a l'hora d'establir-ne la planificació temporal: una multiplicitat de factors imprevistos (obres al centre, colònies dels alumnes, malalties, endarreriments en el desenvolupament curricular...) van motivar canvis freqüents de les dates.

Tot i així l'experimentació, en què van participar uns 240 alumnes del Cicle Superior d'E.G.B. (compresos entre 12 i 14 anys), es va dur a terme en tots els centres en quatre mesos, entre el març i el juny de 1991.

Segons el pla de treball establert (vegeu el punt 4.1.6 de l'apartat anterior), les fases en què es va desenvolupar l'experimentació i l'avaluació del programa per part dels professors i alumnes s'agrupen en dues etapes, que constitueixen els punts en què dividim aquest apartat:

- Etapa de presentació i contacte amb el programa.

- Etapa experimental.

Una vegada seleccionats els centres avaluadors, entre els mesos de març i maig de 1991 es varen realitzar les tasques d'aquesta etapa a totes les escoles. Descrivim a continuació el seguiment de cada una de les fases:

- Les primeres reunions amb els professors avaluadors de cada centre van servir per presentar el projecte, establir el marc de participació de l'escola, fer una planificació temporal de les activitats que s'havien de realitzar, recollir algunes dades generals sobre els avaluadors a les fitxes de centres avaluadors, lliurar els dossiers de la investigació i també per fer una demostració sobre el funcionament dels programes EXPERT i GESTOR .

- Després d'aquesta reunió, els professors varen elaborar les col.leccions de problemes que havien d'utilitzar amb els alumnes a la sessió de contacte amb el programa (l'experiència prèvia), que tenia com a finalitat familiaritzar els alumnes i els professors amb l'ús dels programes. En algun cas els professors varen decidir utilitzar alguna de les col.leccions que els havíem donat amb el programa; no obstant això, tots van fer pràctiques de creació de noves col.leccions de problemes amb el programa-utilitat GESTOR.

- En dates pròximes a les fixades en la planificació temporal, cada centre va realitzar l'experiència prèvia amb els alumnes; nosaltres no hi vàrem intervenir; volíem que els professors i els alumnes practiquessin amb el programa i l'utilitzessin de la manera que els semblés millor. No obstant això, sí que vàrem suggerir (opcionalment) un mètode de treball dels alumnes davant del programa, que al nostre parer resulta el més eficaç en la majoria dels casos; el mètode, que anomenarem "mètode del llapis i l'ordinador", és el següent:

- Finalment, a la reunió de valoració de l'experiència prèvia vàrem fer una recopilació de dades sobre les opinions dels professors i sobre les sessions desenvolupades en les fitxes de centres avaluadors. Els comentaris més generalitzats sobre les possibilitats didàctiques del programa varen ser molt positives: els alumnes s'hi acostumen aviat, treballen molt i estan molt motivats.

Quant a l'aplicació del "mètode del llapis i ordinador", els professors que el van utilitzar (que foren 5, un 62% dels professors col.laboradors en la investigació) van corroborar que resulta més pràctic i enriquidor per als alumnes que l'ús sistemàtic del "sistema d'ajuda", ja que així, quan els estudiants demanen una ajuda, la comparen amb el treball que ells han realitzat prèviament i poden raonar el perquè dels seus errors. Per altra part, aquest mètode els permet entrenar-se a resoldre problemes amb els recursos de què disposen habitualment (llapis, paper, calculadora) i l'ordinador es converteix en un tutor que corregeix i assessora els alumnes quan ho requereixen.

No obstant això, els professors que varen donar plena llibertat als alumnes per interactuar amb el programa i no els van imposar cap mètode de treball, també es van mostrar satisfets amb els resultats: especialment els alumnes de nivell baix van agafar progressivament confiança amb el programa i van clarificar una mica més en què consisteix la resolució de problemes.

En aquesta reunió també vàrem planificar amb més detall l'etapa d'experimentació a cada centre: alumnes, tema, característiques de les proves de control... Novament vàrem donar llibertat als professors a l'hora de prendre aquestes decisions, ja que un dels nostres objectius és estudiar possibles entorns i formes d'utilització; no obstant això, sí que vàrem recomanar homogeneïtat en el nivell de dificultat i tipologia dels problemes de les proves de control.

Després de la reunió de valoració de l'experiència prèvia, els professors-avaluadors van començar les activitats que configuren l'etapa experimental. Aquesta etapa es va desenvolupar a tots els centres entre els mesos de maig i juny, i va incloure les fases següents:

- La preparació de l'experiència per part dels professors-avaluadors: l'elaboració de la col.lecció de problemes que havien d'utilitzar, el disseny de les proves de control, la determinació de l'organització de la sessió, la definició de la metodologia que calia utilitzar...

En alguns casos es va aprofitar parcialment o totalment la col.lecció de problemes utilitzada a l'experiència prèvia.

Quant a les proves de control (vegeu el punt 4.2.4 de l'apartat anterior), molts professors varen seguir el nostre suggeriment de posar 5 problemes: un del tipus dels més fàcils, un altre del tipus dels més difícils, i els tres restants a l'atzar, d'entre els que integren la col.lecció de problemes que es poden utilitzar en l'experiència (s'entén que es van posar problemes del mateix tipus que els de la col.lecció, però no els mateixos).

- La sessió de la prova de control inicial, que normalment es va realitzar a les escoles uns pocs dies abans de l'experiència.

- La realització de l'experiència. En una de les escoles hi vàrem assistir en qualitat d'observadors.

Els alumnes treballaven molt i amb motivació. No obstant això, vàrem poder detectar algunes deficiències en el funcionament del programa (p.e., si el disc estava protegit, el programa s'interrompia). També vàrem observar que alguns alumnes de 6è d'E.G.B. es posaven molt nerviosos amb el "crono".

- La sessió de la prova de control final i de complimentació dels qüestionaris dels alumnes, es va realitzar generalment uns pocs dies després de l'experiència.  Al proper capítol en comentem els resultats.

- Finalment, vàrem tenir les reunions finals amb els professors avaluadors, on vàrem fer una valoració global de l'experiència i ens van lliurar el material que havien recopilat: les proves de control, els qüestionaris, els informes dels ordinadors, una nota representativa de l'aprofitament dels alumnes en l'assignatura...

Vàrem obsequiar cada avaluador amb un manual del programa imprès en colors i també amb una còpia actualitzada de l'EXPERT.

Un cop aplegada tota la informació de l'experimentació del programa, als propers apartats descriurem la tercera i última etapa de la nostra investigació, l'etapa de l'anàlisi dels resultats, que comprèn dues fases: el buidat de les dades i l'anàlisi de resultats, i l'elaboració de les conclusions respecte a les hipòtesis plantejades.  

La informació recopilada al llarg de l'experimentació del programa EXPERT als 8 centres d'E.G.B. es va obtenir mitjançant diversos instruments: qüestionaris per a l'avaluació dels programes, proves de control, informes diversos, fitxes dels centres avaluadors, observacions directes... A finals de juny vàrem disposar de totes les dades, i va començar la tercera etapa de l'experimentació: l'etapa d'anàlisi de resultats.

Al present apartat descrivim el tipus de tractament que vàrem seguir per a fer el buidat de les dades recopilades i preparar-ne l'anàlisi, i presentem els resultats obtinguts.

A fi de facilitar la interpretació de les dades dividim l'apartat en quatre punts, que es corresponen amb els principals instruments que vàrem utilitzar per captar informació:

- Qüestionaris dels professors.

- Qüestionaris dels alumnes.

- Proves de control i informes sobre els alumnes.

- Fitxes dels centres avaluadors i altres observacions.

Les valoracions (entre 0 i 5) dels qüestionaris dels 8 professors experimentadors les vàrem reunir en els quadres que presentem a continuació, on també vàrem determinar les mitjanes aritmètiques de cada apartat.

Els aspectes considerats en aquests qüestionaris varen ser:

- Les dades dels avaluadors. A part les dades personals, destaquem d'aquest grup els anys d'experiència amb els ordinadors dels professors. En total, sumen 34 anys, i resulta una mitjana de 4.25 anys, amb desviacions poc importants.

 - Els gràfics. Pràcticament hi ha unanimitat a reconèixer adequats tècnica i estèticament els aspectes gràfics del programa, i a considerar que els efectes són positius sobre l'activitat dels alumnes. Amb tot alguns dels professors qüestionen la necessitat d'algunes de les intermitències.

- Els textos. Tots els professors estan d'acord amb la bona llegibilitat dels textos i la seva correcció ortogràfica i sintàctica. Només remarquem que un dels qüestionaris te en blanc aquest apartat referit a la manca de faltes d'ortografia en el programa.

- El so. Tothom està d'acord que el so estimula l'interès dels alumnes, malgrat que tres dels professors consideren que a vegades els efectes sonors resulten innecessàriament repetitius. Un d'ells fins i tot pensa que poden arribar a pertorbar el procés d'aprenentatge dels alumnes.

Entenem que la possibilitat que brinda el programa de desconnectar els efectes sonors deixa resolt el problema detectat per aquests professors.

- La comunicació amb el programa. L'avaluació de l'entorn de comunicació dels alumnes amb el programa resulta totalment positiva: senzillesa de maneig, claredat, velocitat d'interacció adequada... Potser l'únic aspecte qüestionable és el que fa referència a la claredat i a la capacitat d'autoexplicació de l'entorn, on, davant de les afirmacions favorables de 5 dels professors, n'hi ha 3 que dubten.

- La fiabilitat del programa. Malgrat que el programa passa favorablement l'avaluació sobre la seva fiabilitat, en algunes escoles s'han detectat errors de funcionament, i també s'hi troba a faltar un millor sistema de detecció d'errors de maneig (tot això ara ja està corregit).

- Formulació i naturalesa dels objectius. Hi ha una pràctica unanimitat en l'avaluació positiva d'aquest aspecte, ja que tots els seus apartats obtenen una puntuació per sobre de 4.

De l'observació del qüestionari es desprèn que els objectius resulten bastant clars per als alumnes i tenen interès per a ells, són avaluables i coincideixen amb els objectius dels professors i constitueixen uns objectius difícils d'assolir amb els mitjans tradicionals.

 Només destaquem el dubte de tres dels professors respecte a la darrera afirmació: "Els seus objectius estan relacionats amb objectius educatius difícils d'assolir amb els mitjans tradicionals". Tot i així, la mitjana d'aquest punt surt favorablement alta: 4.125. 

- La funcionalitat del programa: Els professors consideren alta la capacitat del programa per facilitar els seus objectius, i el troben avantatjós davant d'altres mitjans; això no obstant, dubten respecte al fet que millori els rendiments acadèmics dels alumnes i sobre la seva aplicació a l'oci, la formació permanent... Per altra part també destaquen el temps de preparació que exigeix el seu ús.

- La funcionalitat de les activitats. Pocs professors es qüestionen aquest aspecte. L'avaluació és altament positiva.

- La qualitat didàctica de les activitats. Tots els professors estan bastant d'acord amb el fet que l'entorn de resolució de problemes que presenta el programa és motivador i manté els alumnes interessats i actius mitjançant unes activitats conformes amb les tendències pedagògiques actuals.

A l'hora de considerar si els elements lúdics del programa estimulen l'interès dels alumnes i si les seves activitats desenvolupen la iniciativa i promouen aprenentatges significatius, hi ha alguns dubtes (encara que la valoració mitjana en tots els casos és un 4), i un dels professors fins i tot nega obertament les dues primeres afirmacions, malgrat que després afirma, com ho fan tots els avaluadors, que els elements lúdics no interfereixen negativament en el treball dels alumnes.

Un altre professor qüestiona que el programa expliqui als alumnes els errors que cometen i que proporcioni els ajuts adequats, aspecte aquest últim que també fa dubtar a altres avaluadors.

Finalment, alguns professors pensen que el programa pot provocar ansietat (mitjana: 1.625) i que les seves activitats són molt competitives (mitjana: 2.875). Nosaltres considerem, en aquest respecte, que la desconnexió del "crono" pot disminuir bastant aquests efectes, que per altra part depenen molt de la manera com cada professor organitzi la sessió de treball amb els alumnes.

- La versatilitat del programa: Pràcticament tothom està d'acord en el fet que les activitats del programa individualitzen el treball dels alumnes i que resulta útil poder ajustar paràmetres de les activitats i consultar els nformes que elabora el programa sobre el treball que desenvolupen els alumnes.

No obstant això, es plantegen dubtes a l'hora de considerar si les activitats del programa faciliten el treball en equip, i la majoria dels professors pensen que el programa no provoca l'ús d'altres materials (llibres de consulta, eines de càlcul...) ni propicia el desenvolupament d'activitats complementàries.

A més d'aquests aspectes que hem presentat, amb les seves corresponents valoracions, el qüestionari també incloïa uns apartats oberts on es demanaven suggeriments als professors. Les observacions recollides (les presentem totes) han estat les següents:

- Suggeriments per a millorar el programa EXPERT:

- Problemes que han sorgit a l'hora d'utilitzar el programa GESTOR. Suggeriments per a millorar-lo.

Molts d'aquest suggeriments ja han estat considerats i implementats en el programa.

En total varen participar en l'experimentació uns 240 alumnes, 227 dels quals varen lliurar els qüestionaris d'avaluació del programa degudament complimentats.

Per fer el buidat de les dades (moltes de les qüestions eren quantitatives o preguntes del tipus SÍ/NO) vàrem construir un petit programa en TURBO PASCAL. Es tracta d'un programa estadístic que permet introduir les dades dels qüestionaris, un per un, i al final proporciona un resum apartat per apartat amb el seu valor absolut acumulat i el percentatge que representa. En el cas de les qüestions qualitatives del tipus SÆ/NO vàrem establir la següent correspondència:

Aquesta feina de buidat es va fer escola per escola, i posteriorment vàrem aplegar els resultats en un quadre com el que presentem a continuació. En el cas de les preguntes del tipus SÍ/NO indiquem únicament el percentatge de respostes afirmatives, i en el cas de les preguntes obertes anotem les observacions més repetides. Els aspectes considerats en el qüestionari varen ser:

- Dades de l'avaluador. A part les dades personals, destaquem d'aquest grup els anys d'experiència amb ordinadors dels alumnes, que proporciona una mitjana de 2.6 anys, amb desviacions importants que oscil.len en l'interval (0.6).

Una altra dada d'aquest grup és l'edat dels alumnes, que oscil.la entre 11 i 15 anys, com correspon als alumnes dels nivells educatius considerats.

- Els aspectes tècnics. Els alumnes consideren fàcil usar el programa (un 98% dels casos) i també troben bastant fàcil comunicar les respostes a l'ordinador. No obstant això, sovint necessiten demanar ajut al professor (segons que es desprèn d'un 54% dels qüestionaris). 

Els gràfics i els textos agraden, la velocitat d'interacció sembla adequada (en un 72% dels casos) i els efectes sonors i els gràfics només han resultat pesats a un 19% dels avaluadors.

- Objectius: Quasi tots els alumnes consideren que han après amb el programa, i descriuen alguns d'aquests aprenentatges que, òbviament, tots tenen a veure amb la resolució de problemes.

- Continguts i activitats: Els alumnes han entès bé els enunciats i els missatges del programa, i en la majoria de casos afirmen haver estudiat abans a classe aquests problemes.

A partir de les dades dels qüestionaris resulta que per terme mitjà han treballat uns 16 problemes en sessions de 42 minuts (2.6 minuts/problema); no obstant això els informes dels ordinadors redueixen aquest temps a 27 minuts (1.7 minuts/problema). Aquesta diferència s'explica si tenim en compte que els ordinadors controlen el temps efectiu de treball amb el programa, mentre que els alumnes compten el temps de classe o el de permanència a l'aula d'informàtica.

Finalment, quasi tots els alumnes afirmen que els ha agradat treballar amb el programa i que voldrien tornar-lo a utilitzar. També hi suggereixen millores, algunes de les quals ja han estat implementades en el programa.

Com ja hem comentat, un dels nostres propòsits a l'hora d'organitzar aquesta experimentació del programa EXPERT era poder demostrar que realment els alumnes aprenien. Per això en el seu disseny es considerava l'elaboració de dues proves de control: la prova de control inicial, per conèixer el nivell dels alumnes (quant a capacitat de resolució de determinats tipus de problemes) abans d'interactuar amb l'EXPERT, i la prova de control final, per mesurar el seu nou nivell després de practicar amb el programa. Aquestes proves, com ja em dit, varen ser elaborades i corregides pels mateixos professors avaluadors.

A fi de facilitar l'estudi d'aquestes dades vàrem fer una taula per a cada escola amb el nom dels alumnes, les notes de les dues proves i una quarta columna destinada a la diferència entre les dos notes anteriors. Doncs bé, després de fer el buidat de les dades de les diferents escoles, no podem provar que els alumnes millorin amb l'ús del programa.

En algunes escoles puja més d'un punt la nota mitjana dels seus alumnes en la prova de control final, però en altres baixa quasi en la mateixa quantitat. Per tant, malgrat que els alumnes, per terme mitjà pugen quasi un punt la nota (+0.95), la dispersió dels resultats és massa gran perquè puguem considerar significativa la mitjana obtinguda.

A més de les proves de control, vàrem disposar de dos tipus d'informes sobre els alumnes: els informes dels ordinadors, que presenten informació sobre l'activitat dels alumnes a les sessions de treball amb l'EXPERT, i els informes dels professors, que ofereixen una nota representativa del rendiment acadèmic dels alumnes en l'assignatura. Amb aquestes dades vàrem cercar correlacions entre el treball realitzat amb l'EXPERT, els nivells educatius (insuficients, notables, etc.) i les diferències entre les dues proves de control. Tampoc no hi vàrem descobrir cap relació significativa.

Això ens fa veure que una o dues sessions amb l'EXPERT són poc temps per obtenir resultats observables sobre una possible millora dels aprenentatges dels alumnes.

Al quadre següent sintetitzem les dades més significatives proporcionades per les proves de control i pels informes sobre els alumnes a les 8 escoles.

+----------------------------------------------------------+

¦   ESCOLES - ¦ 1  ¦ 2 ¦ 3 ¦ 4  ¦ 5 ¦ 6  ¦ 7  ¦ 8 ¦MITJANA¦

+-------------+----+----+----+----+----+----+----+----+----¦

¦Problemes    ¦ 9 ¦ 11 ¦ 7  ¦ 16  ¦ 26 ¦ 18 ¦ 23 ¦ 13 ¦15.4¦

+-------------+----+----+----+----+----+----+----+----+----¦

¦Temps dedicat¦ 21 ¦ 20 ¦ 9 ¦ 30  ¦ 43 ¦ 32 ¦ 38 ¦ 26 ¦27.3¦

+-------------+----+----+----+----+----+----+----+----+----¦

¦Nota EXPERT  ¦ 5.7¦ 4.2¦ 7.7¦ 6.7¦ 5.8¦ 5.0¦ 4.0¦ 6.2¦ 5.7¦

+-------------+----+----+----+----+----+----+----+----+----¦

¦NotaEscola   ¦ 5.6¦ 4.8¦ 5.9¦ 5.9¦ 4.9¦ 7.5¦ 4.9¦ 5.6¦ 5.6¦

+-------------+----+----+----+----+----+----+----+----+----¦

¦Contr.inicial¦ 4.8¦ 2.7¦ 5.0¦ 7.2¦ 3.4¦ 5.3¦ 5.3¦ 6.3¦ 5.0¦

+-------------+----+----+----+----+----+----+----+----+----¦

¦Control final¦ 6.7¦ 2.3¦ 6.0¦ 5.3¦ 5.3¦ 7.0¦ 8.8¦ 6.4¦ 5.9¦

+-------------+----+----+----+----+----+----+----+----+----¦

¦Diferència   ¦+1.9¦-0.4¦+1.0¦-1.9¦+1.9¦+1.7¦+3.5¦+0.1¦+0.9¦

+----------------------------------------------------------+

Les fitxes dels centres avaluadors que vàrem emplenar al llarg de les reunions amb els professors ens van servir al llarg de l'experimentació per fer el seguiment de les tasques que es desenvolupaven als diferents centres i comprovar el grau d'acompliment de les planificacion temporals.

Posteriorment, en la fase d'anàlisi, van proporcionar informacions diverses útils per a elaborar les conclusions de la investigació: sobre la distribució dels alumnes, sobre els mètodes utilitzats pels professors ...

Igualment, les observacions orals i escrites dels professors i dels alumnes, i les observacions directes (sense intervenció) de l'activitat desenvolupada pels alumnes davant del programa EXPERT, ens han proporcionat dades d'interès per verificar les hipòtesis prèvies que havíem plantejat a l'hora de dissenyar la investigació. Per exemple, amb referència als qüestionaris per a l'avaluació dels programes, els professors ens van comentar que tant els seus com els dels alumnes havien resultat fàcils de complimentar, i que les preguntes dels estudiants, a l'hora d'omplir-los, havien estat molt poques.

També ens van comentar la seva satisfacció per haver participat en la investigació, i molts d'ells van manifestar que els havia estat profitosa com a experiència personal i perquè havien conegut amb profunditat un nou programa.

En aquest apartat, que constitueix l'última fase de la investigació, exposem les conclusions a què hem arribat respecte a les hipòtesis plantejades (vegeu el punt 4.1.4 d'aquest capítol) a partir dels resultats de l'experimentació del programa EXPERT que hem descrit a l'apartat anterior.

Tenint en compte els sis tipus d'hipòtesis que vàrem plantejar a l'hora de dissenyar la nostra investigació dividim el present apartat en els següents punts:

- Conclusions en relació amb el programa.

- Conclusions en relació amb les activitats del programa.

- Conclusions en relació amb la motivació i la intensitat del treball dels alumnes.

- Conclusions en relació amb la informació retinguda.

- Conclusions en relació amb el model d'investigació.

- Conclusions en relació amb la metodologia per al disseny i el desenvolupament de software que hem proposat.

Les nostres hipòtesis en relació amb el programa són les següents:

Les dades dels qüestionaris dels alumnes i dels professors avalen aquesta hipòtesi: la mitjana de les valoracions dels professors respecte als aspectes tècnics del programa és de 4.21 (sobre 5), mentre que els qüestionaris dels alumnes presenten una mitjana del 81% de respostes a favor en els "ítems" que es refereixen als aspectes més tècnics del programa.

Les dades dels qüestionaris dels alumnes i dels professors també avalen aquesta hipòtesi: la mitjana de les valoracions dels professors respecte als aspectes pedagògics del programa és del 4.05 (sobre 5), mentre que els qüestionaris dels alumnes presenten una mitjana del 93.4% de respostes a favor en els "ítems" que es refereixen a aquests aspectes del programa.

Les dades dels qüestionaris dels alumnes i els seus comentaris directes corroboren aquesta afirmació. En els qüestionaris els alumnes donen un 98% de respostes favorables a aquesta afirmació, mentre que els professors valoren amb un 4.5 (sobre 5) el fet de que el programa es pot utilitzar sense tenir grans coneixements informàtics.

Les dades dels qüestionaris dels professors i els seus comentaris directes també corroboren aquesta afirmació. Com hem indicat al paràgraf anterior, els professors valoren amb un 4.5 (sobre 5) el fet que el programa es pot usar sense necessitar grans coneixements informàtics. També valoren amb un 3.875 (sobre 5) l'afirmació que l'entorn de comunicació del programa resulta clar i autoexplicatiu.

Les observacions dels professors i el fet que quasi tots elaboressin les seves pròpies col.leccions de problemes refermen aquesta hipòtesi. Per altra part, en els qüestionaris alguns professors varen manifestar que l'ús del GESTOR no els havia estat difícil.

Les nostres hipòtesis en relació amb les activitats del programa són:

Les informacions de les enquestes i els comentaris dels avaluadors constaten aquesta afirmació. Tots els alumnes, tant els que en saben molt com els que necessiten molta ajuda, troben una manera de treballar en el programa EXPERT que s'adapta a les seves característiques.

Els professors, en els seus qüestionaris, valoren amb un 4.25 (sobre 5) l'afirmació que les activitats del programa permeten el treball personalitzat de l'alumne, i amb un 3.625 (sobre 5) l'afirmació que el programa proporciona les ajudes adequades a l'alumne quan s'equivoca o ho sol.licita.

- Hi ha un mètode òptim d'utilització del programa (el que anomenem "mètode del llapis i paper")

Segons es desprèn de les fitxes de centres avaluadors, la majoria dels professors van suggerir als alumnes utilitzar el nostre mètode, i convenen amb nosaltres que és el més adequat. No obstant això, no descarten la possibilitat que els alumnes utilitzin el programa EXPERT lliurement, per anar descobrint de mica a mica les seves possibilitats i treballant al seu aire.

4.5.3.- CONCLUSIONS EN RELACIÓ AMB LA MOTIVACIÓ I LA INTENSITAT DEL TREBALL DELS ALUMNES.

Les nostres hipòtesis en relació amb el programa són les següents:

L'observació de les respostes dels alumnes en els seus qüestionaris constata la correcció d'aquesta afirmació, que també és avalada pels comentaris dels professors-avaluadors i per les nostres observacions directes.

Els alumnes contesten en un 97% dels casos afirmativament a la pregunta sobre si els ha agradat treballar amb el programa, i amb un 92% dels casos manifesten que voldrien tornar a treballar-hi. Els professors valoren amb un 4.625 (sobre 5) la capacitat de motivació del programa.

Com ja hem comentat al punt 4.4.2., segons les dades proporcionades pels informes dels ordinadors, a l'hora de treballar amb el programa els alumnes resolen una mitjana de 16 problemes en uns 27 minuts de treball efectiu davant de l'ordinador, de manera que tarden 1.7 minuts per problema. Aquest resultat, que és una mitjana de tot tipus d'alumnes, difícilment és pot aconseguir en una sessió convencional de classe.

La nostra hipòtesis en relació amb la informació retinguda pels alumnes és:

Com ja hem indicat al punt 4.4.3., no tenim proves per a validar aquesta hipòtesi. No obstant això, sí que queda palès, com hem constatat a l'apartat anterior, que els alumnes treballen amb un alt grau de motivació i resolen més problemes que utilitzant els sistemes tradicionals a classe.

Aquests fets demostren clarament que el programa EXPERT facilita que l'alumne es dediqui a resoldre problemes, i si considerem que amb la pràctica l'alumne va aprenent, podem afirmar, conseqüentment, que el programa EXPERT ajuda a aprendre.

Per altra part, als qüestionaris, els professors valoren amb un 4.625 (sobre 5)l'afirmació que el programa facilita l'assoliment dels seus objectius, i amb un 3.875 l'afirmació que ajuda a millorar els rendiments acadèmics. Els alumnes també estan convençuts que han après una mica més a resoldre problemes: un 96% de les seves respostes són a favor d'aquesta afirmació.

Atribuïm la manca de dades objectives per validar aquesta hipòtesi al poc temps que han estat treballant els alumnes amb el programa i al fet que petites modificacions en el nivell de dificultat entre les proves de control inicial i final són suficients per determinar-ne significativament els resultats.

Les nostres hipòtesis en relació amb el model d'investigació utilitzat són:

Les dades que hem presentat i analitzat a l'apartat anterior (apartat 4.4), que representen un estudi exhaustiu sobre el programa, demostren que la informació recopilada mitjançant els instruments utilitzats en la investigació és suficient per a avaluar el programa en tots els seus aspectes: tècnic, pedagògic i funcional.

Les fitxes dels centres avaluadors, els comentaris dels professors i, sobretot, els qüestionaris, són els instruments que ens han proporcionat una informació més significativa i rellevant sobre el programa i la seva projecció a la realitat escolar.

A partir dels comentaris realitzats pels professors a la reunió final (vegeu el punt 4.4.5) podem afirmar que els qüestionaris elaborats per a l'avaluació del programa per part dels professors i els alumnes experimentadors han resultat fàcils d'utilitzar pels seus destinataris.

Cap dels professors no ens va demanar aclariments sobre els seus apartats, i, segons els seus comentaris, els alumnes també els van complimentar de manera autònoma.

La nostra hipòtesi en relació amb la metodologia per al disseny i desenvolupament de software educatiu que proposem és:

L'avaluació positiva del programa EXPERT, un dels programes elaborats segons les orientacions d'aquesta metodologia, demostra que aquesta resulta adequada per a la realització de programes de qualitat.