Rejoinder: response to sobel

of nonrandomized selection rules in the fashion pioneered and devel-

oped in econometrics.

7

The act of defining a model is a purely mental activity. It may

draw on preexisting theory (which is itself derived from earlier mental

acts), interpretations of data (which involve a mental act using models

for the phenomenon being studied and models of statistical inference)

and the rules of logic. There is no purely empirical process for

discovering or defining causality. All causal knowledge is conditional

on maintained assumptions.

8

Sobel (p. 106) dismisses the conditional nature of causality,

writing that ‘‘I do not believe that most scientists (or philosophers)

would subscribe to this view and were they to do so they would

presumably have little further interest in causality.’’ This claim runs

contrary to a large body of thought in philosophy associated with

Kant and Hume, among others.

Indeed, ‘‘causality’’ is not a central issue in fields with well-

formulated models where it usually emerges as an automatic by-

product and not as the main feature of a scientific investigation.

Moreover, intuitive notions about causality have been dropped in

pursuit of a rigorous physical theory. As I note in my essay with

Abbring (2006), Richard Feyman in his work on quantum electro-

dynamics allowed the future to cause the past in pursuit of a scienti-

fically rigorous model even though it violated ‘‘common sense’’ causal

principles. The less clearly developed is a field of inquiry, the more

likely is it to rely on vague notions like causality rather than explicitly

formulated models.

Most scholars intend to describe the real world with their

models. Certainly, in addressing P1–P3, I am referring to real world

problems. However, any empirical or theoretical analysis rests on

assumptions. The clearer analysts are about these assumptions and

the more they are able to test them, the more clearly stated are the

sources of agreement or disagreement among analysts. Such clarity

determines the next steps in the scientific process of constructing

7

When Sobel writes that TT

¼ ACE ¼ TUT when treatment decisions

do not depend on potential outcomes, he presents a garbled version of a precise

result established in my 1974 and 1976 papers.

8

Indeed all knowledge is conditional in this sense. For example, much of

modern mathematics is predicated on the Axiom of Choice.

144

HECKMAN

---

better models and better data to narrow down the zones of disagree-

ment among analysts.

Although Sobel objects to my assertion about the importance

of maintained assumptions and a priori beliefs in the causality enter-

prise, he proceeds, like many statisticians, to pass judgements about

what is and is not good practice. Unlike the econometric approach,

Sobel adopts the statistical approach which often hides key assump-

tions by invoking slogans instead of science.

Each of Sobel’s judgements is based on maintained assump-

tions and beliefs ‘‘in his mind.’’ They involve his implicit assumptions

and value judgements. Statisticians like him who are not explicit do

not convey their private thoughts in an objective, publicly interpre-

table way. Like many statisticians working in the field of causal infer-

ence, he is not clear about many of his crucial implicit assumptions.

Implicit assumptions are entailed in writing down the arguments of

causal relationship (1) (his notation) and characterizing its properties.

Sobel writes ‘‘the focus of the statistical literature is primarily

on obtaining the best possible estimate of the causal parameter of

interest’’ without defining ‘‘best possible,’’ the basis for the choice of

the ‘‘parameter of interest’’ or the question being addressed.

9

In his

defense of matching, he appeals to conditional independence assump-

tion (11) (in the notation of his paper) as ‘‘ straightforward’’ and that

it ‘‘readily lends itself to use by empirical investigators.’’ Some statis-

ticians often use the phrase ‘‘it works well in practice’’ without defin-

ing ‘‘works well.’’ Another common slogan used to justify matching is

that ‘‘my clients understand it.’’ In these and numerous other

instances, Sobel and a large statistical community implicitly appeal

to a variety of conventions rather than presenting explicit rigorous

models and assumptions. The credo ‘‘let sleeping dogs lie’’ is good for

sales, but it is bad for science. Instead of invoking slogans as a

solution to problems, the structural approach emphasizes understand-

ing the underlying mechanisms producing outcomes and selection

rules.

As an application of the scientific approach, my discussion of

matching develops the point that (i) there is no rigorous basis for

picking the set or sets of conditioning variables that make the method

9

The ‘‘best possible estimate’’ is defined precisely in Bayesian and Wald

decision theories. See, e.g., the discussion in Manski (2000).

REJOINDER: RESPONSE TO SOBEL

145

---

‘‘work.’’ Heckman and Navarro (2004) show how the conventional

model selection rules for picking the conditioning variables W in a set

of data can produce badly biased estimates of the average causal

effect and other parameters. (ii) The method assumes that the analyst

has as much relevant information as the agent being studied (see, e.g.,

Heckman and Navarro 2004, for a precise definition of ‘‘relevant’’

information). If the agent knows more than the analyst and acts on it,

matching breaks down. (iii) The analyst assumes that people at the

margin of being attracted into a program are the same (have same

outcomes on average) as average participants. Matching is just non-

parametric regression analysis. It is more careful than Ordinary Least

Squares (OLS) in accounting for empirical support problems but it

assumes that the conditioning variables that the analyst has at his

disposal fortuitously solve selection problems.

10

To take another point, like many statisticians, Sobel resolutely

defends randomization. The Rubin (1978)–Holland (1986) papers

take as their benchmark randomized trials where treatments are

selected by a hypothetical randomization. As I point out in my

essay, even under ideal conditions, unaided randomization cannot

answer some very basic questions such as what fraction of a popula-

tion benefits from a program.

11

And in practice, contamination and

cross over effects make randomization a far from sure-fire solution

even for constructing ATE or ACE (see the evidence on disruption

bias and contamination bias arising in randomized trials that is pre-

sented in Heckman, LaLonde, and Smith 1999; Heckman, Hohmann,

Smith, and Khoo 2000). Sobel makes a series of implicit assumptions

about what questions should be answered, the effects of randomiza-

tion on participants and the like.

Sobel also disagrees with my claim that statisticians conflate

the three tasks shown in my Table 1. The analysis of Holland (1986,

1988) is a good illustration of my point. It also illustrates the central

10

In one of his many attributional errors, he echoes Imbens (2004) and

credits Barnow, Cain, and Goldberger (1980) with the phrase ‘‘selection on

observables’’ to describe matching. The term originates in Heckman and Robb

(1985) and is not to be found in Barnow, Cain, and Goldberger.

11

See Carneiro, Hansen, and Heckman (2001, 2003), where this para-

meter is identified using choice data and/or supplementary proxy measures. See

also Cunha and Heckman (2006a,b) and Cunha, Heckman, and Navarro (2005,

2006).

146

HECKMAN

---