People’s Democratic Republic of Algeria Ministry of Higher Education and Scientific Research

 
92 
 
with  the  rise  of  cotton  as  the  most  important  American  export  product  in  the 
eighteenth  and  nineteenth  centuries,  whereas  the  second  passage  discussed  the  early 
people  and  cultures  of  the  United  States
.
  Each  test  included  ten  multiple-choice 
questions aimed at assessing the students’ overall understanding of the text and some 
words  and  structures
.
  Each  question  was  assigned  one  mark  and  the  total  score  for 
each test was 10 marks
.
 
Text  readability  statistics  were  produced  for  both  passages  employed  in  the 
study to ensure they were identical in length and difficulty and to determine whether 
their reading level suited the proficiency level of the subjects of the study
.
  
The  Microsoft  Word  readability  add-on  automatically  generated  reports  to 
determine  the  reading  level  of  the  texts  based  on  five  common  readability  formulas 
along with the familiarity formula
.
 Whereas the five readability measures all use word 
length  to  measure  word  difficulty,  the  ‘familiarity  measure’  uses  word  frequency 
information  to  determine  word  difficulty  based  on  the  British  National  Corpus
.
  For 
each measure, the text is then rated as either ‘Simple’, ‘Easy’, ‘Good’, ‘Challenging’ 
or  ‘Difficult’
.
  The  different  grades  from  each  measure  help  give  a  more  reliable 
assessment of the text difficulty (“Readability Plugin,”2011)
.
 Figures 6 and 7 on next 
page  represent  the  readability  statistics  reports  for  PD  and  CD  reading  texts 
respectively
. 

---

 
93 
 
 
Figure 6
.
 Readability statistics for PD condition text used in the study
 
 
 
Figure 7
.
 Readability statistics for CD condition text used in the study
 

---

 
94 
 
 
Overall, both passages seem to be comparable in form-Word count
:
 363/365; 
Sentence  count
:
  17/18;  Syllable  count
:
  601/620
.
  As  for  readability  tests,  relevant 
measures are Flesch Reading Ease and Flesch Kincaid Grade Level
.
 Flesch (as cited 
in  Al-Otaibi,  2011,  p
.
  53)  mentioned  that  “higher  scores  on  the  Reading  Ease  test 
indicate that the passages are easier to read than those with lower scores”; the higher 
the value, the more readable the text
.
 The Flesch Kincaid Grade Level transforms the 
Flesch Reading Ease score to a United States school grade, which means that the text 
can be read and understood by an average student in that grade
.
 
 
As  shown  in  figures  3  and  4,  the  selected  PD  and  CD  reading  passages  had 
Reading Ease values of 45
.
09 and 42
.
55 respectively, which makes them identical in 
difficulty and suitable to students at grade 12 who completed a four-year high school 
program  and  are  in  their  freshman  year  at  university
.
  As  a  rule,  texts  with  a  Flesch 
Reading  Ease  score  of  0-30  are  best  understood  by  university  graduates  who 
completed  a  four-year  program
.
 
Considering  the  differences  between  the  American 
and Algerian school systems, and the fact that the subjects who took part in the study 
were  non-native  speakers  of  English  and  still  had  to  study  for  one  more  year  to 
graduate,  the  selected  passages  were  deemed  to  be  of  an  average  difficulty  and 
suitable to the subjects’ level
.
 
 
 

---

 
95 
 
4
.
3
.
2
.
 Vocabulary Tests 
The vocabulary tests were adapted from the “501 Vocabulary Questions” book 
published  by  LearningExpress  (2003)
.
  The  aim  of  the  book  is  to  measure  students’ 
knowledge of words generally encountered in textbooks, newspapers and magazines, 
and  especially  in  standardized  tests  like  the  SAT  (Scholastic  Aptitude  Test)  or  the 
GRE  (Graduate  Records  Examinations)
.
  This  book  was  chosen  for  its  high 
practicality in assessing L2 learners’ vocabulary
.
 
4
.
3
.
2
.
1
.
 Pretest 
The  vocabulary  pretest  required  supplying  definitions  for  ten  supposedly 
unknown words in ten sentences (See Appendix G)
.
 The words were printed in bold 
face and were considered to unlikely be known to a fair proportion of the students, in 
view of their level
.
 
4
.
3
.
2
.
2 Posttest 
The vocabulary posttest was divided into two parts (5 target words each)
:
 The 
first part was a “multiple-choice” test in which the words were given with a very little 
contextual  support
.
  There  were  four  choices  per  item
:
  one  key  (correct  answer)  and 
three distractors (options other than the correct answer)
.
 Each item of the test required 
picking the appropriate word
.
 The second part was a “fill in the blank” test in which 

---