People’s Democratic Republic of Algeria Ministry of Higher Education and Scientific Research

 
112 
 
time  each  student  started  and  finished  the  reading  tasks
.
  The  reading  tests  were 
administered in two separate sessions
:
 
4
.
4
.
3
.
1
.
 Reading with Access to a CD-ROM Dictionary 
In the first session, and before the students were allowed to enter the test lab, I 
activated  the  MS  in  all  the  computers
.
  The  CD  application  was  also  loaded  and  its 
“Close  button”  was  successfully  disabled
.
  The  students  read  a  text  and  answered 
comprehension  questions  with  access  to  a  CD  (Figure  16)
.
  The  MS  recorded  the 
students’ look-ups without them being aware that they were being monitored for their 
lookup behavior (See Appendix A for full test)
.
 
 
Figure 16
.
 Students reading in CD-ROM dictionary condition 

---

 
113 
 
4
.
4
.
3
.
2
.
 Reading with Access to a Printed Dictionary 
In the second session (after a week), the students read another text with access 
to a PD (Figure 17)
.
 However this time, they were requested to insert the words they 
had looked up in a box imbedded into the text (See Appendix B for full test)
.
 
 
Figure 17
.
 Students reading in printed dictionary condition 
To account for the problem of test wiseness, the subjects did the reading in the 
CD condition first, since it would have been impossible for them to find out that the 
tests were also about their lookup behavior and reading time, and not only about their 
reading scores
.
 

---

 
114 
 
However, if the subjects did the reading in the PD condition first, they would 
have at least realized that the tests were also about their lookups, since I would have 
asked them to report on their lookups in the PD
.
 This would have eventually made the 
subjects feel suspicious  and they might have acted differently  the next time they did 
the reading in the CD condition
.
  
4
.
4
.
4
.
 Procedure to Test Vocabulary Retention 
In  order  to  test  students’  vocabulary  retention,  I  administered  pretests  and 
posttests  to  the  subjects  in  both  PD  and  CD  lookup  conditions
.
  The  tests  were 
administered only on paper since the only variable tested was memory for words
.
 The 
time taken to find the target words in the dictionaries was not considered for it is not a 
variable of interest
.
 
To account for the problem of test wiseness, I assigned half of the sample -22 
students- to the PD lookup condition and the other half to the CD lookup condition
.
 I 
did  not  assign  all  the  subjects  to  both  conditions  because  it  would  have  been 
impractical if the students did the pretest and posttest in one condition, and then did a 
similar  pretest  and  posttest  in  the  other
.
  I  could  speculate  that  after  taking  the  first 
series of tests in either condition, the subjects would have absolutely realized that they 
would be tested on their lookups the next time the pretest in the second series of tests 
is carried out
.
 If this had happened, they might have copied the target words for later 

---

 
115 
 
review and further lookup and consolidation of meaning at home, which would have 
definitely invalidated the tests’ results
.
  
4
.
4
.
4
.
1
.
 Vocabulary Pretest and Posttest 
In  the  pretest,  the  students  were  instructed  to  supply  the  definitions  for  the 
words  in  bold  in  the  sentences  using  either  a  PD  or  a  CD  (See  Appendix  G)
.
 
However,  they  were  not  informed  that  a  vocabulary  retention  test  would  be  given 
regarding  the  words  looked  up  in  the  pretest,  and  were  assured  that  what  really 
mattered  were  their  scores
.
  I  also  made  sure  the  students  did  not  take  any  notes 
regarding  vocabulary  outside  the  test  room  in  that  they  were  neither  allowed  to  use 
mobile phones nor rough papers
.
  
After  a  week  lapse,  the  students  were  given  the  posttest  to  measure  their 
retention of the words they had looked up a week earlier (See Appendix H)
.
 Yet, this 
time, the students were not allowed to use any dictionary type, but were encouraged to 
rely solely on their memory
. 
4
.
5
.
 Method of Data Analysis   
It  should  be  noted  that  I  designed  and  administered  the  entire  reading  and 
vocabulary  tests  in  such  a  way  that  the  students  would  not  be  aware  of  their  real 
objectives, except in the PD condition reading task, in which I could by no means find 
a  trick  to  make  the  subjects  unaware  of  the  ‘lookup  frequency’  variable
.
  Before  I 

---

 
116 
 
proceed to analyze the results of the study (next chapter), it is worth mentioning how 
the results of the tests were calculated in the first place
.
 
 
Since the study consisted of one independent variable, i
.
e
.
 dictionary type, and 
four  dependent  variables,  i
.
e
.
  reading  time,  reading  scores,  lookup  frequency,  and 
vocabulary  retention,  comparison  between  pretests  and  posttests  was  made  using 
paired-samples  t-tests,  except  for  the  last  dependent  variable  (i
.
e
.
  vocabulary 
retention)  where  an  independent-samples  t-test  was  used  since  each  half  of  the 
subjects did only one test type (either a CD or a PD)
.
 Pearson’s correlation coefficient 
was  conducted  to  examine  whether  there  was  any  kind  of  correlation  between  the 
subjects’ lookup frequencies and their reading scores in both conditions
.
 
4.6. Statistical Procedures Used in the Study 
T-tests are often used to compare the means from two different groups of data
.
 
They can help us find out if the means are significantly different from one another or 
if they are relatively the same
.
 If the means are significantly different, we can say that 
the  variable  being  manipulated  (independent  variable)  had  an  effect  on  the  variable 
being measured (dependent variable)
.
  
Paired Samples T-Tests 
These types of tests are used to compare groups that are related in some way
.
 
There  are  so  many  ways  that  participants  in  two  groups  can  be  related
.
  One  way  is 

---