A systematic Characterization of Application Sensitivity to Network Performance

70
o
’
s
FT
IS
MG
measure
predict
measure
predict
measure
predict
10
173.3
173.3
18.7
18.7
17.8
17.8
11
178.0
173.3
21.3
18.7
18.3
17.8
20
175.7
174.8
22.5
18.9
19.8
18.0
30
177
176.4
-
-
23.8
18.3
60
184.9
181.2
22.6
19.8
26.5
19.0
110
222.0
189.3
32.9
20.9
26.6
20.2
Table 4.2: NPB Predicted vs. Measured Run Times Varying Overhead
This table demonstrates how well our model for sensitivity to overhead predicts observed slowdown
for the 32 node runs. For each application, the column labeled
“”•!–—$˜%”
is the measured runtime,
while the column labeled
™$˜%”d!e0f2g
is the runtime predicted by our model. The model accurately pre-
dicts measured run times for smaller overheads.
Table 4.2 shows the measured vs. predicted performance for the NPB. The models are
reasonably accurate for
h
values under 50
i
s. But for high overheads, the applications are more
sensitive than the models predict. The extra sensitivity might be because a round-trip is required for
most messages. At very high overheads (e.g. 100
i
s ) contention effects may dominate, magnifying
the cost of the round-trip set-up.
4.2.2
gap
Figure 4.4 shows the NPB are much less sensitive to gap than to overhead. One bench-
mark, FT, can ignore a
j
entirely! Although messages are sent in bursts, the very large size of most
messages means that even a high
j
can be amortized over a low communication frequency. A safe
conclusion that can be drawn is that these benchmarks are very insensitive to
j
. This is in contrast
to many of the Split-C/AM benchmarks, which exhibited a strong sensitivity to
j
.
4.2.3
Latency
As we would expect, the NPB are quite insensitive to increased
k
. Figure 4.5 plots the
latency figures for two of the benchmarks. Unfortunately, a bug in the switches prevented collecting
data for the FT benchmark. It is a relatively safe assumption, given our characterization, that FT
would have a very low sensitivity to
k
. Recall that a round trip is only required once per message at
the MPID level, so the number of round trips numbers in the 100’s per processor.
Even with the MPICH-GAM round-trip set-up cost, the applications’ infrequent use of
messages and the very large size of most messages allows them to amortize the cost of a long
k
.

---

71
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
2
0
20
40
60
80
100
120
Slowdown
ˆ
gap
FT
IS
MG
Figure 4.4: NPB Sensitivity to gap
This figure plots measured slowdown as a function of gap in microseconds.
Given that GAM provides in-order delivery, it would not bee too difficult to remove this round-trip
set-up. In that case we would expect sensitivity to
l
to be even lower than the results presented here.
4.2.4
Bulk Gap
We now turn our attention to bulk Gap. Figure 4.6 plots sensitivity to bandwidth, or
m
n
. We
see that there is a flat region to about 5 MB/s and then a sharp turn upward. The first result is that the
NPB are quite insensitive to a bandwidth below 12.5 MB/s. This is an important result because 100
Mb Ethernet and 155 Mb ATM are at or well above this performance level. Thus, these technologies
would be adequate for running the NPB on the class of processor used in this study.
The sharp inflection, however, demands more attention. An important question is if the
infection is due to an abnormal rise in sensitivity. Recall we are plotting sensitivity to a non-linear
change in the independent variable, i.e., sensitivity as a function of
m
o
. We are scaling
p
in a linear
fashion but plotting bandwidth instead, which is a non-linear change. It is thus difficult to ascertain
via the naked eye if the inflection is due to a hyper-sensitivity or simply following a normal
m
o
curve.
In order to ascertain the sensitivity, we turn to the linear model of MPI performance de-
veloped in Section 2.3.2. Recall that in that section, we described how MPI performance should be
affected by inflation of the LogGP parameters. Table 4.3 shows the resulting measured vs. predicted

---

72
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
2
0
20
40
60
80
100
120
140
Slowdown
ˆ
Latency (us)
FT
IS
MG
Figure 4.5: NPB Sensitivity to Latency
This figure plots measured slowdown as a function of latency in microseconds.
performance as we scale
q
. We see that indeed, at 1.2 MB/s the applications are hyper-sensitive to
q
, in that they take much longer to run than predicted by the model. The cause of the increased
slowdown is unclear; the LANai can continue to receive messages so network congestion should
not be a problem. Whatever the result of the hyper-sensitivity, the result shows a technology such as
switched 10Mb Ethernet is probably not sufficient for these applications.
4.3
NPB Sensitivity Summary
As with the Split-C/AM chapter, we organize our conclusions on the NPB around the areas
of performance analysis, application behavior, architecture and modeling.
4.3.1
Performance Analysis
In the performance analysis regime, we find that our apparatus is adequate for measuring
sensitivity of the NPB, although the programs are somewhat noisier than the Split-C programs. The
apparatus also showed that it can measure non-linear responses for a number of the NPB. The extra
layer of communication protocol between our apparatus and the application (MPI), did cause us to
expend extra effort in modeling that we did not do for the Split-C/AM programs. A method around

---