Gaia Data Release 1 Documentation release 0

7.4
Catalogue validation
7.4.1
Introduction
Author(s): Fr´ed´eric Arenou
Despite the precautions taken during the acquisition of the satellite observations and when building the data pro-
cessing algorithms, completely avoiding errors in the astrometric, photometric, spectroscopic or classification data
in a one billion source catalogue, with many intricate data for each, is an impossible task. However, several actions
have been undertaken to improve the quality of the Gaia Catalogue through a data validation process before each
release.
It is fundamental to note that the first step of this validation is logically represented by the many verification tests
implemented in every Gaia DPAC Coordination Unit (CU) before producing their data, and which are described
in the previous chapters, Section 3.5 for the astrometry, Section 5.5 for the photometry, and Section 6.5 for the
variability. A second and last step, which is developed below, is the CU9 Catalogue validation, i.e. what is being
done after collecting the various CU data and building the Catalogue before publication.
A large e
ffort has been dedicated to the Catalogue validation, with the following main purposes for the validation
tests:
• implement general sanity checks on the fields of the Catalogue
• check the accuracy and precision of the Catalogue parameters
• verify the correct distribution of these parameters, in particular the absence of large numbers of
outliers
• study the completeness of the Catalogue
• detect as much as possible instrumental or data processing problems
• and more generally check what would not be covered by the internal CU verifications, i.e., in partic-
ular, cross-CU checks.
While the DPAC is mostly organised in terms of astronomical fields (astrometry, photometry, spectroscopy, etc.),
the validation areas have been split in terms of various methods which can be applied, with the purpose of being
able to make a cross-check of the di
fferent results obtained with the different methods.
These methods are described in turn in the sections below and each have their pros and cons. Internal methods,
using only the Gaia data, can be applied to any star without any crossmatch ambiguity. On the other hand, external
catalogues provide independent results which can be compared to the Gaia data. And, where external data are not
available, galaxy models may sometimes help to explain whether observed features are, or not, artifacts. Also,
statistical methods for multidimensional analysis can find data properties inside the observational noise. Finally,
while this validation development model is transversal, some special objects require a special treatment, such as
clusters, and those having an important time dependence such as variability analysis, and also solar system objects.
Dedicated sub-work packages led by experts of the fields above have been settled to provide the needed insight on
the Catalogue quality.
In the following sections, we describe the methods which have been applied, together with the results mostly
obtained on preliminary data, and which contributed to improve the Gaia DR1 Catalogue. Most of the results of
the validation tests applied on the final Gaia DR1 data itself are described in Arenou et al. (2017).
266

---

In the course of the preparation of the data validation, real or simulated data were needed, mostly for testing the
astrometry of the TGAS solution.
We built in particular a simulated catalogue, called Simu-AGISLab in what follows, which contained astrometric
data for the Tycho-2 stars, to which were added simulated TGAS astrometric errors. Simu-AGISLab used as
simulated proper motions the Tycho-2 ones, but they were “deconvolved” using the formula indicated in Arenou &
Luri (1999, Eq. 10) to avoid a spurious increase of their dispersion with the TGAS astrometric errors added by the
simulation. The simulated parallaxes were a weighted average of “deconvolved” Hipparcos parallaxes (for nearby
stars) and the photometric parallaxes from the Pickles & Depagne (2011) catalogue (for more distant stars). The
simulated TGAS astrometric errors were produced as described in the Tycho-Gaia Astrometric Solution document
(Michalik et al. 2015a), based on solution algorithms described in Lindegren et al. (2012, , Sect. 7.2).
To exercise several validation tests, we also benefited from the simulations done in the frame of the Gaia DPAC, the
Coordination Unit 2 being in charge of producing theses simulations. Namely, we used the Gaia Universe Model
Snapshot (GUMS, Robin et al. 2012a) and the GOG (GOG, Luri et al. 2014) catalogue.
During the validation preparation, we also successively received intermediate Catalogues, TGAS 00.00 and TGAS-
00.01, very preliminary releases delivered to exercise the validation software only and covering the satellite ob-
servation during the 25 July 2014 to 19 May 2015 period, and the Catalogue TGAS 01.00 covering 25 July 2014
to 16 September 2015.
The o
fficial CU9 validation step began when what is called below “pre-filtering” data was received. At this step,
no re-run of the data processing being possible, only the rejection of some stars (if strictly needed) and some
cosmetic change on the data fields could be done. After filtering, the validation was again performed, and most of
the catalogue properties described below refer to this post-filtering, final Gaia DR1 data.
7.4.2
Internal comparisons
Author(s): Claus Fabricius, Fr´ed´eric Arenou, Krzysztof Findeisen, Sergio Soria
The internal comparisons consist of a number of consistency tests that can be carried out without reference to
external data. This includes e.g. basic sanity checks, identification of features in the data related to the way
observations were made, checks on the shape of the negative parallax tail, and so on.
7.4.2.1
Sanity and consistency
The most fundamental validation tests verify that values given are not obviously wrong. This kind of check can
catch simple mistakes in data manipulation, like missing data fields, wrong units, or erroneous conversions. Such
tests are mandatory, because data pass between several data processing centres and through many steps after the
specific processes (astrometry, photometry, etc.) before eventually reaching the data release data base.
The Catalogue validation process has therefore checked catalogue integrity, such as all data fields having values
in the expected range and being present when expected to be. The validation group also checked that source
identifiers were not repeated, that the astrometric correlation matrix was a valid correlation matrix, that fluxes and
magnitudes were related as expected, that the positions obtained from the equatorial, ecliptic (the transformation
matrix to ecliptic coordinates we used was R
x
(84381.411 )R
z
(−0.05542 )), and galactic coordinates all agreed to
better than 0.2 µas, cf. Section 3.1.7, and so on. In addition to these check-list tests, simple sky plots and histograms
of various data items were extremely useful to ensure that the distributions behave as expected.
267

---