Rejoinder: response to sobel

---

REJOINDER: RESPONSE TO

SOBEL*

James J. Heckman

†

‘‘The term ‘cause’ is highly unspecific. It commits us to nothing

about the kind of causality involved nor about how the causes

operate. Recognizing this should make us more cautious about

investing in the quest for universal methods for causal inference.’’

Cartwright, 1999, Chapter 5

.

Sobel claims to disagree with many of the points made in my

paper. He also claims that much if not all of what I say is already in

the statistical treatment effect literature. He treats my Section 4 as a

literature review rather than an illustration of the basic principles

made in Sections 1–3 of the paper, as I intended it to be. In joint

work with Edward Vytlacil, I present a comprehensive literature

review (Heckman and Vytlacil 2006a,b).

The primary objective of my paper is to present a general and

coherent view of causality as it applies to social science. As part of my

analysis, I address the approach to causality popularized in statistics

by Donald Rubin, Paul Holland and other statisticians. This is an

approach to which Sobel subscribes. As my essay documents, the

statistical approach suffers from many limitations and in many funda-

mental respects is a recapitulation of older approaches in econo-

metrics, well understood by economists, that have been enhanced

and developed further by contemporary econometricians. I am

disappointed that, rather than addressing my arguments, Sobel

restates misleading arguments made in the statistics literature. In

*This research was supported by NSF-SES-0241858 and NIH-R01-

HDO43411. I thank Jennifer Boobar, Steve Durlauf and Hanna Lee for com-

ments on this rejoinder.

†

University of Chicago and the American Bar Foundation

135

---

responding to Sobel, I am in essence responding to Rubin, Holland

and other statisticians whose views are reiterated by Sobel in his

commentary.

1. WHAT MY PAPER IS ABOUT

My paper moves discussions of causal inference away from vague

philosophical discussions about what ‘‘really’’ constitutes causality to

a precise discussion of three prototypical policy problems.

1

In my

interpretation, causal models are tools for policy analysis. Different

policy problems place different demands on models and data. I

articulate the econometric approach that (a) defines the problems of

interest precisely; (b) describes the environments, outcomes and

choices of the agents being studied precisely and (c) presents condi-

tions on data and models under which the policy problems can be

solved. The objective of my paper is not to attack statistics but rather

to attack serious policy problems. Sobel attacks the explicit approach

developed in econometrics and confuses clearly formulated abstract

models for outcomes and selection of outcomes with assumptions

made within the context of the explicit models that are maintained

in particular applications of the models.

Building on my previous analysis (Heckman 2001), I reconcile

the statistical treatment effect literature and the econometrics litera-

ture by noting that the wider set of questions addressed by the latter

entails considering more ambitious models. Whether the particular

assumptions required for identifying a parameter are satisfied is a

different problem than the problem of determining conditions

under which a question can in principle be answered. I draw on

Marschak (1953) and later economists to note that for certain nar-

rowly focused policy questions, it is often possible to get by with

much weaker assumptions and data requirements when crafting

acceptable answers.

1

Cartwright (2005) provides an illuminating discussion of alternative

and often inconsistent uses of the term ‘‘causality.’’

136

HECKMAN

---

My essay is about all three policy questions, P1–P3, and

not solely about P1. Sobel, however, largely focuses on P1. He briefly

touches on P2 and considers a special case of an exogenous condition-

ing set. His discussion of problem P3 is about extrapolation

from factorial experiments instead of a careful discussion of how

to forecast new programs with new characteristics as discussed

in my paper and in Heckman and Vytlacil (2005, 2006b). His discus-

sion is defensive and does not grapple with the larger aims of my

paper.

The careful reader of my paper, Sobel’s discussion and the

recent literature on causal inference in econometrics and statistics

will recognize that Sobel ignores major points that are developed in

the econometrics literature and are absent in the statistical treatment

effect literature. These are:

1.

Development of an explicit framework for outcomes, measure-

ments and the choice of outcomes where the role of unobservables

(‘‘missing variables’’) in creating selection problems and justifying

estimators is developed.

2.

The analysis of subjective evaluations of outcomes and the use of

choice data to infer them.

3.

The analysis of ex ante and ex post realizations and evaluations of

treatments. This analysis enables analysts to model and

identify regret and anticipation by agents. Developments 2 and

3 introduce human decision making into the treatment effect

literature.

4.

Development of models for identifying entire distributions of

treatment effects (ex ante and ex post) rather than just the tradi-

tional mean parameters focused on by statisticians. These distri-

butions enable analysts to determine the proportion of people

who benefit from treatment, something not attempted in the

literature Sobel draws on.

5.

Development and identification of distributional criteria allowing

for analysis of alternative social welfare functions for outcome

distributions comparing different treatment states.

6.

Models for simultaneous causality relaxing the recursive frame-

works adopted by Rubin (1978) and Holland (1986).

7.

Definitions of parameters made without appeals to hypothetical

experimental manipulations.

REJOINDER: RESPONSE TO SOBEL

137

---