Annual Report on the United States Medical Licensing Examination®

8

 

Annual Report on USMLE to Medical Licensing Authorities in the U.S. | 2017 

 

 

A statistical procedure ensures that the performance required to pass each test form is equivalent to that 

needed to pass other forms; this process also places scores from different forms on a common scale.  

 

For Step 3, performance on the case simulations affects the Step 3 score and could affect whether 

examinees pass or fail. The proportional contribution of the score on the case simulations is no greater 

than the amount of time examinees are allowed for the case simulations.  

 

Current minimum passing scores for each Step are as follows (mean scores are provided in the SIG): 

Step 1: 192 

Step 2 CK: 209 

Step 3: 196  

 

Although 2-digit scores are no longer reported, test results reported as passing on the three-digit scale 

would represent an exam score of 75 or higher if a two-digit score had been reported.   

 

Score Reliability:   

Reliability refers to a score’s expected consistency.  Candidates’ test scores are reliable to the extent 

that an administration of a different random sample of items from the same content domain would 

result in little or no change in each candidate's rank order among a group of candidates. In general, 

long examinations of very similar items administered to a diverse group of examinees yield high 

reliabilities.   

 

One of the ways that reliability is measured is through the standard error of measurement (SEM).  The 

SEM provides a general indication of how much a score might vary across repeated testing using 

different sets of items covering similar content.  As a general rule of thumb, chances are about two 

out of three that the reported score is within one SEM, plus or minus, of the score that truly reflects 

the examinee’s ability (i.e., of the score that would be obtained if the examination were perfectly 

reliable). The current SEM is approximately 5 points on the three-digit reporting scale for Step 1, and 

6 points on the three-digit reporting scale for Steps 2CK and 3.    The Step 2 CS is only reported as a 

pass or fail, without a reported score.  

 

 

Score Validity:  

Score validity refers to the extent to which existing evidence supports the appropriateness of the 

interpretation of test outcomes.  For USMLE, the intended interpretation of passing all examinations 

is that the individual has the fundamental knowledge and skills required to begin patient care in a safe 

and effective manner.  The best way to support a proposed score interpretation is through 

accumulation of developmental documentation and research on all components of the test design, 

delivery, and scoring processes, and through tracking the relationship of examination outcomes with 

later measures of the individual’s ability.  The USMLE program has a fairly extensive history of such 

activity.  A list of research citations as well as descriptions of many of the USMLE processes is 

available on the USMLE website. (

http://www.usmle.org/data-research/

)   

---

9

 

Annual Report on USMLE to Medical Licensing Authorities in the U.S. | 2017 

 

USMLE Program News, 2015-2017 

 

Following are abbreviated versions of news items posted on the USMLE website from 2015-2017. 

 

Step 2 CS cases – common presenting signs and symptoms (posted September 2017) 

A list of 

common presenting signs and symptoms 

that Step 2 Clinical Skills (CS) examinees may 

expect to see during their examination has been posted to the USMLE website. These are examples 

only, and the list does not represent all possible presenting signs and symptoms that may be 

encountered. 

 

Scheduling Reminder for Step 2 CS (posted August 2017) 

Schedules at all test centers fill up quickly. We strongly encourage examinees to complete their 

scheduling before May 31

 of the calendar year in which they plan to test. Based on scheduling 

trends, if you try to schedule after August 1, you may find that there are no available testing 

appointments through the end of the year unless there are cancellations. The graph below is an 

estimate of test appointment availability for the next six months as of the date at the bottom of the 

graph. 

 

 

 

Change in Performance Standards for Step 2 CS (posted August 2017)  

This announcement describes a change in the performance standards for the USMLE Step 2 CS 

examination that will affect examinees testing on or after September 10, 2017.  At its July 2017 

meeting, the USMLE Management Committee conducted a review of the recommended minimum 

passing levels for USMLE Step 2 CS and voted to increase the required minimum passing level for 

all three Step 2 CS subcomponents: Communication and Interpersonal Skills (CIS), Spoken English 

Proficiency (SEP), and Integrated Clinical Encounter (ICE). Because numerical scores are not 

---

10

 

Annual Report on USMLE to Medical Licensing Authorities in the U.S. | 2017 

 

reported for Step 2 CS, the decisions of the Management Committee are reported in terms of 

potential impact on examinees, using data from recent administrations. If the new minimum passing 

requirements were applied to the group of first-time examinees who recently tested, the overall 

passing rate for examinees from US medical schools would be approximately three percent lower 

and the overall passing rate for examinees from international medical schools would be 

approximately eight percent lower.

 

 

Review of USMLE Step 1 minimum passing performance (posted July 2017)  

The USMLE program recommends a minimum passing level for each Step examination. The 

USMLE Management Committee is responsible for establishing and monitoring these standards, 

and is asked to complete an in-depth review of standards for each examination every three to four 

years. For the 2017 Step 1 review, information from multiple sources will be considered: 

•

 

Results of content-based standard setting exercises conducted with three independent 

groups of physicians in 2017; 

•

 

Results of surveys of various groups (e.g., state licensing representatives, medical school 

faculty, samples of examinees) concerning the appropriateness of current pass/fail standards 

for Step examinations; 

•

 

Trends in examinee performance; and  

•

 

Score precision and its effect on the pass/fail outcome. 

 

The USMLE Management Committee is scheduled to review the minimum passing score for the 

USMLE Step 1 examination at its meeting on November 29-30, 2017. If the Committee determines 

that a change to the minimum passing score is appropriate, the new recommended minimum 

passing score will become effective for all examinees who take a Step 1 examination on or 

after January 1, 2018. The decision of the Committee will be posted at the USMLE website. 

 

USMLE Score Interpretation Guidelines (posted July 2017)  

USMLE Score Interpretation Guidelines (SIG) have been posted to the USMLE website 

at 

http://www.usmle.org/data-research/

. Topics include in the SIG include: Description of 

Examinations; Understanding Your Score; Recent Means and Standard Deviations (SDs); Norm 

Table; Passing Scores; Precision of Scores; and Guidelines for Use of USMLE Step Scores for 

Selection Decisions. The means and SDs and the norm table will be updated annually. Because 

percentile ranks depend on the cohort of examinees, you should always use the most recent norm 

table available on the USMLE website to obtain percentile ranks. 

 

New features in Step 2 CS patient note program (posted June 2017)  

Two user-adjustable display features, text magnification and color inversion, are now available in the 

patient note program used by Step 2 CS examinees after each patient encounter. The color inversion 

feature changes the color of the text and background from black-on-white to white-on-black. The 

ability to invert color improves readability for some users. The text magnification feature will 

magnify the entire screen.  

 

Change to patient note program for the Step 2 CS exam (posted June 2017)  

On or after September 10, 2017, patient notes written in the Step 2 CS exam will automatically 

submit at the end of the 25 minutes allotted for each patient encounter. Each patient encounter 

includes 15 minutes in the examination room, plus an additional 10 minutes to write the patient 

note. Examinees who leave the exam room before 15 minutes will continue to have additional time 

---