Rejoinder: response to sobel

9. SENSITIVITY ANALYSIS

If the purpose of my essay had been a comprehensive review of

econometric evaluation estimators, I would have discussed bounds

and sensitivity analysis. See Heckman and Vytlacil (2006b) for such a

discussion using the MTE as an organizing device for an entire

literature. Vijverberg (1993) is a good reference for sensitivity analysis

in a Roy model. Peterson (1976) is an early example of bounds for the

competing risks model which is a version of the Roy model.

28

10. POLICY FORECASTING

Sobel explores a few special cases of my analysis of problem P2. This

section of his discussion abounds with personal opinions like ‘‘intui-

tively easy’’ and ‘‘think reasonably.’’ These assertions are his excuse

for begging the general problems considered in my paper. If he does

not like unobservables, he can use standard change of variable argu-

ments to substitute out unobservables from my equations and recast

my argument into observables to solve identification problems.

My argument uses structural models directly because they are

interpretable in terms of theory and they explicitly recognize missing

variables (‘‘unobservables’’). They also provide the machinery for

integrating information on auxiliary measures into analyses to help

overcome problems with missing variables.

His analysis makes implicit exogeneity assumptions. See

Heckman and Vytlacil (2005, 2006b) for a general analysis of the

extrapolation problem based on the MTE which explicitly discusses

the role of exogeneity assumptions in policy forecasts.

11. THE ROLE OF UNOBSERVABLES

Sobel, like many statisticians, says he does not like unobservables. Neither

do I. I wish all important variables were observed. But it is the unobser-

vables in the outcome equations and the outcomes in the treatment choice

28

See Heckman and Honore´ (1989, 1990).

156

HECKMAN

---

equation that give rise to selection and evaluation problems. One can be

implicit about them and their properties, as are Sobel and most statisti-

cians, or explicit, as is common in the econometric approach.

Implicit in all statistical analyses are unobservables that gen-

erate outcomes given the observables. Matching assumes that all

unobservables in outcome equations are random with respect to the

unobservables in the treatment choice equation given the matching

variables. The LATE estimator that Sobel implicitly espouses assumes

a latent unobserved variable with a special structure.

29

By being clear

and objective, the econometric approach allows analysts to pinpoint

their differences in assumptions about the unobservables and explore

the role of assumptions in producing any differences in conclusions.

12. TOWARDS CONVERGENCE

I applaud Sobel’s desire to see the emergence of a literature that

combines the best features of the econometric and statistical treatment

effect literatures. For that synthesis to occur, statisticians like Sobel

should carefully read the econometrics literature and its genuine pio-

neering contributions and more carefully note the publication dates of

key ideas before dismissing 30 years of econometric research as the

application of an incompletely formulated statistical model.

REFERENCES

Abbring, J. H., and J. J. Heckman. 2006. ‘‘Dynamic Policy Analysis.’’ In The

Econometrics of Panel Data

, edited by L. Matyas and P. Sevestre. Kluwer

Academic Publishers. Forthcoming.

Ahn, H., and J. Powell. 1993. ‘‘Semiparametric Estimation of Censored Selection

Models with a Nonparametric Selection Mechanism.’’ Journal of Econometrics

58(1–2):3–29.

Angrist, J. D., G. W. Imbens, and D. Rubin. 1996. ‘‘Identification of Causal

Effects Using Instrumental Variables.’’ Journal of the American Statistical

Association

91(434):444–55.

29

Vytlacil (2002) explicitly develops the latent variable model implicitly

assumed by Imbens and Angrist (1994) and Angrist, Imbens, and Rubin (1996).

REJOINDER: RESPONSE TO SOBEL

157

---

Barnow, B. S., G. G. Cain, and A. S. Goldberger. 1980. ‘‘Issues in the Analysis of

Selectivity Bias.’’ Pp. 42–59 in Evaluation Studies, vol. 5, edited by

E. Stromsdorfer and G. Farkas. Beverly Hill, CA: Sage Publications.

Berk, R., A. Li, and L. Hickman. 2005. ‘‘Statistical Difficulties in Determining

the Role of Race in Capital Cases: A Re-Analysis of Data from the State of

Maryland.’’ Journal of Quantitative Criminology 21(4):365–90.

Bjo¨rklund, A., and R. Moffitt. 1987. ‘‘The Estimation of Wage Gains and

Welfare Gains in Self-Selection.’’ Review of Economics and Statistics

69(1):42–49.

Carneiro, P., K. Hansen, and J. J. Heckman. 2001. ‘‘Removing the Veil of

Ignorance in Assessing the Distributional Impacts of Social Policies.’’

Swedish Economic Policy Review

8(2):273–301.

———. 2003. ‘‘Estimating Distributions of Treatment Effects with an

Application to the Returns to Schooling and Measurement of the Effects of

Uncertainty on College Choice.’’ 2001 Lawrence R. Klein Lecture.

International Economic Review

44(2):361–422.

Carneiro, P., J. J. Heckman, and E. J. Vytlacil. 2005. ‘‘Understanding What

Instrumental Variables Estimate: Estimating Marginal and Average Returns

to Education.’’ Presented at Harvard University, 2001. Under review.

Cartwright, N. 1999. The Dappled World: A Study of the Boundaries of Science.

Cambridge, UK: Cambridge University Press.

———. 2005. ‘‘Causation: One Word Many Things.’’ Unpublished manuscript,

London School of Economics, Centre for Philosophy of Natural and Social

Science.

Cunha, F., and J. J. Heckman. 2006a. ‘‘The Evolution of Earnings Risk in the US

Economy.’’ Presented at the 9th World Congress of the Econometric Society,

London.

———. 2006b. ‘‘A Framework for the Analysis of Inequality.’’ Journal of

Macroeconomics

, forthcoming.

Cunha, F., J. J. Heckman, and S. Navarro. 2005. ‘‘Separating Uncertainty from

Heterogeneity in Life Cycle Earnings.’’ 2004 Hicks Lecture. Oxford Economic

Papers

57(2):191–261.

———. 2006. ‘‘Counterfactual Analysis of Inequality and Social Mobility.’’ In

Mobility and Inequality: Frontiers of Research from Sociology and Economics

,

ch. 4, edited by S. L. Morgan, D. B. Grusky, and G. S. Fields. Palo Alto, CA:

Stanford University Press.

Durlauf, S. N., and H. P. Young. 2001. Social Dynamics. Cambridge, MA: MIT

Press.

Gronau, R. 1974. ‘‘Wage Comparisons—A Selectivity Bias.’’ Journal of Political

Economy

82(6):1119–43.

Haavelmo, T. 1943. ‘‘The Statistical Implications of a System of Simultaneous

Equations.’’ Econometrica 11(1):1–12.

Heckman, J. J. 1974. ‘‘Shadow Prices, Market Wages, and Labor Supply.’’

Econometrica

42(4):679–94.

158

HECKMAN

---

———. 1976. ‘‘The Common Structure of Statistical Models of Truncation,

Sample Selection and Limited Dependent Variables and a Simple Estimator

for Such Models.’’ Annals of Economic and Social Measurement 5(4):475–92.

———. 1978. ‘‘Dummy Endogenous Variables in a Simultaneous Equation

System.’’ Econometrica 46(4):931–59.

———. 1979. ‘‘Sample Selection Bias as a Specification Error.’’ Econometrica

47(1):153–62.

———. 1980. ‘‘Addendum to Sample Selection Bias as a Specification Error.’’

In Evaluation Studies Review Annual, vol. 5, edited by E. Stromsdorfer and

G. Farkas. Beverly Hills, CA: Sage Publications.

———. 1987. ‘‘Selection Bias and Self-Selection.’’ Pp. 287–97 in The New

Palgrave: A Dictionary of Economics

, edited by J. Eatwell, M. Milgate, and

P. Newman. London: Palgrave Macmillan Press.

———. 1990. ‘‘Varieties of Selection Bias.’’ American Economic Review

80(2):313–18.

———. 1992. ‘‘Randomization and Social Policy Evaluation.’’ Pp. 201–30 in

Evaluating Welfare and Training Programs

, edited by C. Manski and

I. Garfinkel. Cambridge, MA: Harvard University Press.

———. 2001. ‘‘Micro Data, Heterogeneity, and the Evaluation of Public Policy:

Nobel Lecture.’’ Journal of Political Economy 109(4):673–748.

Heckman, J. J., N. Hohmann, J. Smith, and M. Khoo. 2000. ‘‘Substitution and

Dropout Bias in Social Experiments: A Study of an Influential Social

Experiment.’’ Quarterly Journal of Economics 115(2):651–94.

Heckman, J. J., and B. E. Honore´. 1989. ‘‘The Identifiability of the Competing

Risks Model.’’ Biometrika 76(2):325–30.

———. 1990. ‘‘The Empirical Content of the Roy Model.’’ Econometrica

58(5):1121–49.

Heckman, J. J., R. J. LaLonde, and J. A. Smith. 1999. ‘‘The Economics and

Econometrics of Active Labor Market Programs.’’ Pp. 1865–2097 in

Handbook of Labor Economics

, vol. 3A, edited by O. Ashenfelter and

D. Card. New York: North-Holland.

Heckman, J. J., L. J. Lochner, and C. Taber. 1998a. ‘‘Explaining Rising Wage

Inequality: Explorations with a Dynamic General Equilibrium Model of

Labor Earnings with Heterogeneous Agents.’’ Review of Economic Dynamics

1(1):1–58.

———. 1998b. ‘‘General-Equilibrium Treatment Effects: A Study of Tuition

Policy.’’ American Economic Review 88(2):381–86.

Heckman, J. J., L. J. Lochner, and P. E. Todd. 2006. ‘‘Earnings Equations and

Rates of Return: The Mincer Equation and Beyond.’’ In Handbook of the

Economics of Education

, edited by E. A. Hanushek and F. Welch. Amsterdam:

North-Holland. Forthcoming.

Heckman, J. J., and S. Navarro. 2004. ‘‘Using Matching, Instrumental Variables,

and Control Functions to Estimate Economic Choice Models.’’ Review of

Economics and Statistics

86(1):30–57.

REJOINDER: RESPONSE TO SOBEL

159

---

———. 2006. ‘‘Dynamic Discrete Choice and Dynamic Treatment Effects.’’

Journal of Econometrics

. Forthcoming.

Heckman, J. J., and R. Robb. 1985. ‘‘Alternative Methods for Evaluating the

Impact of Interventions.’’ Pp. 156–245 in Longitudinal Analysis of Labor

Market Data

, vol. 10, edited by J. Heckman and B. Singer. New York:

Cambridge University Press.

———. 1986. ‘‘Alternative Methods for Solving the Problem of Selection Bias in

Evaluating the Impact of Treatments on Outcomes.’’ Pp. 63–107 in Drawing

Inferences from Self-Selected Samples

, edited by H. Wainer. New York:

Springer-Verlag. Reprinted in 2000, Mahwah, NJ: Lawrence Erlbaum.

Heckman, J. J., and J. A. Smith. 1998. ‘‘Evaluating the Welfare State.’’

Pp. 241–318 in Econometrics and Economic Theory in the Twentieth Century:

The Ragnar Frisch Centennial Symposium

, edited by S. Strom. New York:

Cambridge University Press.

Heckman, J. J., S. Urzua, and E. J. Vytlacil. 2006. ‘‘Understanding Instrumental

Variables in Models with Essential Heterogeneity.’’ Review of Economics and

Statistics

. Forthcoming.

Heckman, J. J., and E. J. Vytlacil. 1999. ‘‘Local Instrumental Variables and

Latent Variable Models for Identifying and Bounding Treatment Effects.’’

Proceedings of the National Academy of Sciences

96:4730–34.

———. 2001a. ‘‘Local Instrumental Variables.’’ Pp. 1–46 in Nonlinear Statistical

Modeling: Proceedings of the Thirteenth International Symposium in Economic

Theory and Econometrics: Essays in Honor of Takeshi Amemiya

, edited by

C. Hsiao, K. Morimune, and J. L. Powell. New York: Cambridge University

Press.

———. 2001b. ‘‘Policy-Relevant Treatment Effects.’’ American Economic Review

91(2):107–111.

———. 2005. ‘‘Structural Equations, Treatment Effects, and Econometric Policy

Evaluation.’’ Econometrica 73(3):669–738.

———. 2006a. ‘‘Econometric Evaluation of Social Programs, Part I: Causal

Models, Structural Models and Econometric Policy Evaluation.’’ In

Handbook of Econometrics

, vol. 6, edited by J. Heckman and E. Leamer.

Amsterdam: Elsevier, forthcoming.

———. 2006b. ‘‘Econometric Evaluation of Social Programs, Part II: Using the

Marginal Treatment Effect to Organize Alternative Economic Estimators to

Evaluate

Social

Programs

and

to

Forecast

Their

Effects

in

New

Environments.’’ In Handbook of Econometrics, vol. 6, edited by J. Heckman

and E. Leamer, Amsterdam: Elsevier, forthcoming.

Holland, P. W. 1986. ‘‘Statistics and Causal Inference.’’ Journal of the American

Statistical Association

81(396):945–60.

———. 1988. ‘‘Causal Inference, Path Analysis, and Recursive Structural Equation

Models.’’ Pp. 449–84 in Sociological Methodology, edited by C. Clogg and

G. Arminger. Washington, DC: American Sociological Association.

160

HECKMAN

---

Hurwicz, L. 1962. ‘‘On the Structural Form of Interdependent Systems.’’

Pp. 232–39 in Logic, Methodology and Philosophy of Science, edited by

E. Nagel, P. Suppes, and A. Tarski. Stanford, CA: Stanford University Press.

Imbens, G. W. 2004. ‘‘Nonparametric Estimation of Average Treatment Effects

under Exogeneity: A Review.’’ Review of Economics and Statistics 86(1):4–29.

Imbens, G. W., and J. D. Angrist. 1994. ‘‘Identification and Estimation of Local

Average Treatment Effects.’’ Econometrica 62(2):467–75.

Koopmans, T. C., H. Rubin, and R. B. Leipnik. 1950. ‘‘Measuring the Equation

Systems of Dynamic Economics.’’ Pp. 53–237 in Statistical Inference in Dynamic

Economic Models

, no. 10, ch. 2 in Cowles Commission Monograph, edited by

T. C. Koopmans. New York: John Wiley & Sons.

Lewis, H. G. 1963. Unionism and Relative Wages in the United States: An

Empirical Inquiry

. Chicago: University of Chicago Press.

Manski, C. F. 2000. ‘‘Identification Problems and Decisions under Ambiguity:

Empirical Treatment of Response and Normative Analysis of Treatment

Choice.’’ Journal of Econometrics 95(2):415–42.

———. 2004. ‘‘Statistical Treatment Rules for Heterogeneous Populations.’’

Econometrica

72(4):1221–46.

Marschak, J. 1953. ‘‘Economic Measurements for Policy and Prediction.’’ Pp. 1–26

in Studies in Econometric Method, edited by W. Hood and T. Koopmans. New

York: Wiley.

Matzkin, R. L. 2006. ‘‘Nonparametric Identification.’’ In Handbook of Econometrics,

vol. 6, edited by J. Heckman and E. Leamer. Amsterdam: Elsevier.

McFadden, D. 1974. ‘‘Conditional Logit Analysis of Qualitative Choice

Behavior.’’ In Frontiers in Econometrics, edited by P. Zarembka. New York:

Academic Press.

———. 1981. ‘‘Econometric Models of Probabilistic Choice.’’ In Structural

Analysis

of

Discrete

Data

with

Econometric

Applications

, edited by

C. Manski and D. McFadden. Cambridge, MA: MIT Press.

Neyman, J. 1923. ‘‘On the Application of Probability Theory to Agricultural

Experiments. Essay on Principles.’’ Roczniki Nauk Rolniczych 10:1–51. In

Polish; edited and translated version of Section 9 by D. M. Dabrowska and

T. P. Speed. Statistical Science 5:465–72.

Pearl, J. 2000. Causality. Cambridge, UK: Cambridge University Press.

Peterson, A. V. 1976. ‘‘Bounds for a Joint Distribution Function with Fixed Sub-

distribution Functions: Application to Competing Risks.’’ Proceedings of the

National Academy of Sciences of the United States of America

73(1):11–13.

Powell, J. L. 1994. ‘‘Estimation of Semiparametric Models.’’ Pp. 2443–2521 in

Handbook of Econometrics

, vol. 4, edited by R. Engle and D. McFadden.

Amsterdam: Elsevier.

Quandt, R. E. 1958. ‘‘The Estimation of the Parameters of a Linear Regression

System Obeying Two Separate Regimes.’’ Journal of the American Statistical

Association

53(284):873–80.

———. 1972. ‘‘A New Approach to Estimating Switching Regressions.’’ Journal

of the American Statistical Association

67(338):306–10.

REJOINDER: RESPONSE TO SOBEL

161

---

Rosenbaum, P. R. 2002. Observational Studies (2d ed.), Series in Statistics. New

York: Springer-Verlag.

Roy, A. 1951. ‘‘Some Thoughts on the Distribution of Earnings.’’ Oxford

Economic Papers

3(2):135–46.

Rubin, D. B. 1974. ‘‘Estimating Causal Effects of Treatments in Randomized and

Nonrandomized Studies.’’ Journal of Educational Psychology 66(5):688–701.

———. 1976. ‘‘Inference and Missing Data.’’ Biometrika 63(3):581–92.

———.

1978.

‘‘Bayesian

Inference

for

Causal

Effects:

The

Role

of

Randomization.’’ Annals of Statistics 6(1):34–58.

———. 1986. ‘‘Statistics and Causal Inference: Comment: Which Ifs Have Causal

Answers.’’ Journal of the American Statistical Association 81(396):961–62.

———. 2000. ‘‘Comment on ‘Causal Inference Without Counterfactuals.’’’

Journal of the American Statistical Association

95(450):435–38.

Thurstone, L. 1927. ‘‘A Law of Comparative Judgement.’’ Psychological Review

34:273–86.

———. 1959. The Measurement of Values. Chicago, IL: University of Chicago Press.

Vella, F. 1998. ‘‘Estimating Models with Sample Selection Bias: A Survey.’’

Journal of Human Resources

33(1):127–69.

Vijverberg, W. P. M. 1993. ‘‘Measuring the Unidentified Parameter of the

Extended Roy Model of Selectivity.’’ Journal of Econometrics 57(1–3):69–89.

Vytlacil, E. J. 2002. ‘‘Independence, Monotonicity, and Latent Index Models: An

Equivalence Result.’’ Econometrica 70(1):331–41.

Wainer, H., ed. 1986. Drawing Inferences from Self-Selected Samples. Papers from

a conference sponsored by Educational Testing Service. Originally published

by Springer-Verlag. Reprinted in 2000, Mahwah, NJ: Lawrence Erlbaum

Associates.

Willis, R. J., and S. Rosen. 1979. ‘‘Education and Self-Selection.’’ Journal of

Political Economy

87(5, part 2):S7–S36.

162

HECKMAN