Rejoinder: response to sobel

8.

Demonstration of the need for invariance of parameters with

respect to classes of manipulations to answer classes of questions.

2

One theme developed in my paper is that major limitations

hamper the statistical treatment effect literature in answering impor-

tant social science questions. These limitations are not surprising since

the statistical treatment effect literature is an offshoot of the experi-

mental design literature in biostatistics. My essay shows that ‘‘techni-

cal’’ assumptions invoked in the statistical treatment effect literature

have unappealing implications for social science.

Two cornerstone assumptions: SUTVA and Strong Ignorability

(SI) are especially unappealing. SUTVA is a version of an invariance

assumption developed in econometrics some 40–50 years ago

and formalized in the Hurwicz (1962) paper I cite. In the form

advocated by Sobel and many other statisticians, it precludes social

interactions and general equilibrium effects, and so precludes the

evaluation of large scale social programs. The SI assumption,

by ruling out any role for unobservables in self selection, justifies

matching by assuming away any interesting behavior of the agents

being studied. While Sobel criticizes econometrics for making

various assumptions, he ignores the fact that the approach that

he favors makes implicit assumptions that are stronger and

less tenable. The econometric approach is explicit about its

assumptions.

Sobel does not acknowledge any intellectual priority for early

work by economists that precedes the ‘‘Rubin model’’ as exposited by

Holland (1986). Selection models defined over potential outcomes

with explicit treatment assignment mechanisms were presented by

Gronau (1974) and Heckman (1974, 1976, 1978) in the economics

literature. The econometric discrete choice literature (McFadden

1974, 1981) used counterfactual utilities as did its parent literature

in mathematical psychology (Thurstone 1927, 1959). Unlike the

Rubin model, these models do not start with the experiment as an

ideal point of departure, but they start with well-posed, clearly

2

This notion is in the early Cowles Commission work. See Marschak

(1953) and Koopmans, Rubin, and Leipnik (1950). It is formalized in Hurwicz

(1962) as cited in my paper. Rubin’s SUTVA is a special case of the invariance

condition formalized by Hurwicz.

138

HECKMAN

---

articulated models for outcome and treatment choice derived from

behavioral theory where the unobservables that underlie the selection

and evaluation problem are made explicit.

Rubin’s 1978 model of treatment choice came later and only

implicitly accounts for the unobservables that drive the selection

problem. His point of departure is randomization and the analysis

of his 1976 and 1978 papers is a dichotomy between randomization

(ignorability) and nonrandomization, not an explicit treatment of

particular selection mechanisms in the nonrandomized case as devel-

oped in the econometrics literature.

Sobel dismisses the value of making clear the assumptions

about model unobservables that produce selection and evaluation

problems when he dismisses ‘‘structural’’ models. In this regard

he follows Angrist, Imbens, and Rubin (1996) and Holland (1986).

Sobel equates structural models (economic models) with LISREL

type models and standard simultaneous equations models despite

the greater generality of the structural models (see, e.g., Matzkin

2006).

Structural models do not ‘‘make strong assumptions.’’ They

make explicit the assumptions required to identify parameters in any

particular problem. The treatment effect literature does not make

fewer assumptions; it is just much less explicit about its assumptions.

Like many statisticians, Sobel prefers to be implicit about many of his

assumptions. This approach begs serious questions about the best way

to model the severe problems that arise in making sound policy

evaluations.

My essay is about:

1.

Clearly defining the policy problem being addressed;

2.

Asking what parameter is required to answer the problem;

3.

Discussing minimal identification conditions; and

4.

Analyzing the properties of various estimators.

While Sobel’s discussion claims to show that there are dimensions

along which the econometric literature is lacking relative to the statistical

literature on treatment effects, his arguments are based on misstatements

and misunderstandings of the econometrics literature that are prevalent in

the statistical treatment effect literature. For example, he makes the claim,

like Rubin and many other statisticians, that econometric selection

REJOINDER: RESPONSE TO SOBEL

139

---

models depend on normality.

3

He claims that economists, and I in

particular, ‘‘adopted the Rubin model’’ in the 1980s. This repeats a

claim made by Rubin.

4

Sobel clearly has not read or understood the

work published in econometrics in 1974–1976 which presented models of

potential outcomes and treatment assignment rules long before Rubin’s

1978 paper.

5

My 1974–1976 papers are not ‘‘informal’’ and they present

precise discussions of potential outcomes (e.g., market and nonmarket

wages) and outcome selection mechanisms. The switching regression

model of Quandt (1958, 1972) describes a model of potential outcomes

and develops various regime (potential outcome) selection rules.

Detached readers would be advised to compare the level of formality in

these papers with the relative informality of Rubin’s papers, especially his

informal 1974 paper which Sobel cites. In that paper, there is no systema-

tic discussion of treatment assignment rules whereas, by 1974, the econo-

metric literature had systematically developed and analyzed such rules.

The early econometric work clearly separates the definition of

parameters from their identification in a fashion not found in the statistics

literature. Heckman and Robb (1985, 1986) present comprehensive ana-

lyses of outcome equations, selection mechanisms and unobservables

using economic theory. We had no need to draw on the ‘‘Rubin Model’’

which was a special case of economic models that were formulated prior

to Rubin’s work. A more accurate description of Rubin’s contribution is

that he exposited aspects of econometric models to statisticians.

2. WHAT IS NEW IN MY PAPER AND

NOT DISCUSSED BY SOBEL

Sobel does not discuss my extension of the treatment effect literature

to the identification of non-recursive systems. The literature on

3

Heckman (1980, 1990), Heckman and Robb (1985, 1986), Heckman

and Honore´ (1990), Ahn and Powell (1993), and Powell (1994), among many

others, have relaxed the normality assumption made in the early 1970’s literature.

See Heckman and Vytlacil (2005, 2006b) for a survey. It is far from clear that in

practice normality is a poor assumption in many applications. See Heckman

(2001).

4

Rubin (2000).

5

The Roy model (1951) is a clear predecessor as are the switching

models of Quandt (1958, 1972).

140

HECKMAN

---