People’s Democratic Republic of Algeria Ministry of Higher Education and Scientific Research

 
85 
 
Chapter Four 
Research Methodology and Procedures 
Introduction .............................................................................................................. 86 
4.1. Participants ........................................................................................................ 86 
4.2. Research Design ................................................................................................ 87 
4.3. Instruments and Data Collection Methods ........................................................ 91 
4.3.1. Reading tests from the TOEFL PBT .......................................................... 91 
4.3.2. Vocabulary tests ......................................................................................... 95 
4.3.3. Tests Validity ............................................................................................. 96 
4.3.4. Dictionaries ................................................................................................ 96 
4.3.5. Monitoring Software ................................................................................ 100 
4.3.6. Lookup History-List in CD-ROM Dictionary .......................................... 106 
4.4. Research Procedures ....................................................................................... 110 
4.4.1. Research site ............................................................................................. 110 
4.4.2. Instructions and training ........................................................................... 110 
4.4.3. Procedure in Reading Comprehension ..................................................... 111 
4.4.4. Procedure to Test Vocabulary Retention .................................................. 114 
4.5. Method of Data Analysis ................................................................................ 115 
Conclusion ............................................................................................................. 118 

---

 
86 
 
Chapter Four 
Research Methodology and Procedures 
 
Introduction 
An essential part of this study is the detailed description of the research design 
and methodological procedures used to answer the proposed research questions
.
 Such 
description  not  only  allows  for  an  objective  evaluation  of  the  appropriateness  of  the 
selected methods to the objectives of this study, but also helps in checking the validity 
and reliability of the research results
.
 Thus, this chapter presents detailed information 
related to the selection of participants, research design chosen for the study, research 
instruments  and  procedures  followed,  as  well  as  the  statistics  used  to  analyze  the 
obtained data
.
 
4
.
1
.
 Participants 
The  population  from  which  the  sample  of  this  study  was  drawn  consists  of 
sophomore-level  students  enrolled  in  the  Department  of  English  at  Constantine 
University 1
.
  The main reason for the choice of the population is that students, at this 
level,  with  more  English  learning  experience  than  freshmen  students,  are  expected, 
and  at  times  required  to  do  some  outside  readings  by  themselves
.
  To  fill  this  need, 
students  very  often  find  themselves  under  situations  where  they  have  to  cope  with 

---

 
87 
 
longer  texts  and  entirely  new  vocabulary  items  during  reading
.
  So,  to  ease  this 
burden,  they  would  feel  it  necessary  to  use  dictionaries  to  facilitate  their 
understanding
.
  
The  sample  of  this  study  consists  of  44  students  from  two  classes,  14  males 
and 30 females (age average  = 20
.
25, age range
:
 18-30  years)
.
 They were chosen to 
be  the  sample  due  to  my  easy  access  and  familiarity  with  them  since  they  were 
regularly taking classes in ‘Oral Expression’ with me
.
  The subjects  were  all  sharing 
similar  educational  and  linguistic  backgrounds,  and  had  at  least  seven  years  of  EFL 
instruction
.
  However,  they  seemed  to  differ  in  their  proficiency  in  that  most  of  the 
students  in  Group  A  were  less  motivated  and  did  not  actively  participate  in  the 
classroom,  whereas  those  in  Group  B  were  so  energetic  and  they  enthusiastically 
participated in classroom activities
.
 
4
.
2
.
 Research Design 
Previous studies on dictionary use have used various investigative procedures, 
such  as  written  questionnaires,  interviews,  observations,  think-aloud  protocols,  tests 
and  experiments,  and  log  files
.
  In  the  following,  I  will  briefly  state  the  objective  as 
well as the shortcomings of each method in the context of dictionary use
.
 
Questionnaire  surveys  seek  to  understand  the  relationship  between  the  users 
and their dictionaries through gathering information about their habits, attitudes, and 

---

 
88 
 
knowledge  in  using  dictionaries
.
  Yet,  one  major  problem  with  this  method  is  the 
inability to  check the truth  value of the informants’ responses unless combined with 
other methods
.
  
In  this  respect,  interviews  are  more  efficient  in  that  the  informants  cannot 
cheat if asked about their dictionaries
.
 However, using such a method could be time-
consuming, especially with large groups of informants, and the analysis of data may 
be difficult and tiring in the case of open questions which entail thorough examination 
to extract and sort relevant information (Welker, 2010)
.
 
Observation-based  studies  are  concerned  with  “setting  subjects  observable 
tasks and collecting data either during the task itself or immediately … [afterwards]” 
(Nesi,  2000b,  p
.
  33)
.
  Unlike  questionnaires  and  interviews,  real-time  observation  of 
the users’ consultation process reveals their actual dictionary use
.
 Still, this method is 
not  without  shortcomings,  as  subjects  would  probably  not  feel  comfortable  being 
observed  while  doing  a  task,  which  makes  them  feel  inhibited  and  not  behaving 
normally
.
 
In  protocols,  the  dictionary  users  describe  orally  how  they  proceed  in  their 
lookups  the  first  moment  they  encounter  an  unknown  word  or  when  they  need  to 
know more about one they already know
.
 The dictionary user should report whatever 
thoughts might occur during the consultation process
.
 A major limitation that could be 

---