People’s Democratic Republic of Algeria Ministry of Higher Education and Scientific Research

 
89 
 
highlighted using this technique is the inability to check if the informants’ reflections 
were true of their actual behavior (Welker, 2010)
.
 
In  studies  on  dictionary  use,  tests  may  be  used  to  verify  the  effects  of 
dictionary  look-ups  on  any  kind  of  L2  linguistic  activities  like  reading,  writing, 
vocabulary  learning,  etc
.
  In  a  test,  subjects  perform  a  given  task  and  the  results  of 
which are then examined and evaluated (Welker, 2010)
.
  
Experimental  studies,  on  the  other  hand,  seem  to  be  very  common  in 
dictionary  use  research
.
  However,  Tono  (2001,  pp
.
  71-72)  distinguished  between 
various experimental designs, based on Cohen & Manion (1994)
:
 

 
Pre-experimental design
:
 
 
In  this  type  of  design,  a  group  of  subjects  are  given  a  test  to  measure  some 
variable (e
.
g
.
 the number of spelling mistakes in an essay); after a new factor has been 
introduced  (e
.
g
.
  instruction  on  dictionary  use),  the  subjects  are  given  another  test  to 
see if that factor influenced the subjects’ performance
.
 

 
Quasi-experimental design
:
 
 
The investigation in this design is conducted with two groups of subjects who 
are  not  randomly  selected;  for  example,  two  classes  of  students  could  be  chosen
.
  In 
both  groups,  two  tests  are  given
.
  In  the  “experimental  group”,  a  new  factor  is 
introduced between the tests (e
.
g
.
 using the dictionary), but not in the “control group”
.
 
As such, the researcher verifies if that factor has any influence
.
 

---

 
90 
 

 
True-experimental design
:
 
 
The  only  difference  between  this  type  and  the  quasi-experimental  design  is 
that the two groups have been randomly selected
.
 Tono (p
.
 71) argued that “In theory, 
random  assignment  …  controls  all  possible  independent  variables
.
  In  practice,  of 
course,  it  is  only  when  enough  subjects  are  included  in  the  experiment  that  the 
principle  of  randomisation  has  a  chance  to  operate  as  a  powerful  control”
.
  Tono 
(2001,  p
.
  71)  classified  the  studies  carried  out  by  Summers  (1988),  Hulstijn  (1993), 
Hulstijn, Hollander & Greidanus (1996) and Knight (1994) as true experiments
.
 
 
Yet,  one  major  problem  for  tests  and  experiments  is  the  objectivity  of 
evaluation  and  interpretation  of  the  results
.
  Therefore,  it  is  recommended  that  the 
evaluation of results is carried out by more than one person (for example, in the case 
of  scoring  an  essay  or  a  translation  task),  unless  there  is  little  margin  for  biased 
interpretations, as in the case of multiple-choice tests (Welker, 2010)
.
 
Among the aforementioned wide range of methods, experiments and log files 
were chosen as the main investigative techniques for this study
.
 Taking into account 
their  validity,  reliability,  appropriateness  for  the  research  objectives,  and  feasibility, 
the two methods  were  combined to  reveal  a more complete picture of  how CDs use 
could influence L2 learners’ performance
. 
I adopted a quasi-experimental design since the study was carried out with two 
groups  of  subjects  who  were  not  randomly  selected
.
  I  could  by  no  means  have 

---

 
91 
 
students  from  different  classes  participate  in  the  study  because  it  was  impossible  to 
gather  those  randomly  selected  subjects  to  attend  several  treatment  sessions 
considering  that  they  had  different  classes  and  perhaps  would  find  it  disruptive 
missing  a  class  each  now  and  then
.
  In  addition,  I  could  not  guarantee  that  the 
randomly  selected  subjects  would  be  willing  to  attend  all  the  treatment  sessions, 
especially if we know that the phases of the study were carried out near the end of the 
academic  year  in  summer,  when  it  usually  gets  very  hot  and  most  of  the  students 
would rather stay at home to revise for their final exams
.
 Any irregular attendance or 
withdrawal would have affected the process of obtaining data negatively
.
 
4
.
3
.
 Instruments and Data Collection Methods 
4
.
3
.
1
.
 Reading Tests from the TOEFL PBT  
This study employed two authentic reading tests (Appendix A and B) adapted 
from a TOEFL PBT Reading Collection, which contains the previously administered 
paper-based  TOEFL  tests
.
  The  Reading  Comprehension  Section  requires  reading 
passages  on  various  topics  and  answering  questions  about  them
.
  The  questions 
typically ask about information that is stated in or implied by the passage, as well as 
knowledge of some of the specific words
.
  
The passages’ themes were very similar to the ones the students usually have 
in “Culture of the Language”, which is a very important subject in their major, dealing 
with  issues  in  American  or  British  history  and  civilization
.
    The  first  passage  dealt 

---