Mbs working Paper idrak

 

28 

Table 3 – Differences in Mean Outcome for Digital and Board-based Experiments   

Descriptive Statistics 

Board exercise 

(28 experiments) 

Digital exercise 

(12 experiments) 

 

 

Discipline 

 

 

Design Criteria 

 

 

Design 

Target 

Mean 

St Dev 

Mean 

St Dev 

T-value 

Functional Internal 

Area (FIA) 

≥

 100 

121.3 

43.4 

117.8 

45.8 

0.22 

Architect

ure 

Maximum Blue Deltas 

(% total)  (MCD) (§) 

≤

 60-70 

54.73 

7.97 

52.75 

6.89 

0.75 

Average Internal 

Temperature Range  

(AITR) 

55-65 

60.13 

9.50 

100.2 

63.8 

-2.17* 

Minimum Individual 

Delta Temperature 

Range  (min IDTR) 

20-85 

32.3 

11.4 

39.8 

21.7 

-1.12 

Thermal 

Engineeri

ng 

Maximum Individual 

Delta Temperature 

Range (max IDTR) 

20-85 

80.0 

14.0 

181.9 

98.1 

-3.58* 

Maximum Load at 

Anchor Points 

(MLAP) 

≤

20 

15.41 

3.58 

25.1 

26.6 

-1.25 

Structural 

Engineeri

ng 

Maximum Internal 

Moment (MIM) 

≤

40 

29.5 

12.1 

56.1 

60.5 

-1.51 

Total Budget (TB) 

≤

!1400 

1956 

1288 

1089 

514 

3.04* 

Project 

Manage

ment 

Building Time (BT) 

Shortest 

76.2 

41.5 

62.8 

23.4 

1.27 

(*) p < 0.05 

The comparative analysis of the two data sets suggests few statistically significant differences in 

mean performance for the two groups. However, the analysis shows that the digital results tend to 

exhibit a higher variability than the board-based results. This suggests that the performance of the 

‘virtual’ engineering design teams may be less consistent than that of the co-located teams. We 

conjecture that the consistency of virtual team work may be increased if administrators instruct 

teams to adopt rigorous communication and design process protocols (Jain and Sobek II 2006). 

Indeed, one ‘architect’ observed: “If I were to run the project again, I would implement a formal 

introduction  process  where  key  stakeholder  interests  and  roles  are  clarified  prior  to  any 

designing. This would go some way to creating a structured design process.”  

Specifically, the analysis reveals that, first, there are no statistically significant differences in 

the  mean  performance  of  architects  and  structural  engineers  participating  in  virtual  and  co-

located teams. Second, thermal engineers participating in virtual teams tend to perform less well 

---

 

29 

than those in co-located teams. This insight leads us to question whether the digital system, as it 

was developed, made it more difficult for the thermal engineers (who were in charge of the more 

laborious, time-consuming calculations) to enforce their views throughout the experiments than 

to  the  other  participants  performing  less  technical  roles.  In  their  reports,  for  example,  some 

‘thermal engineers’ noted that they wished they could have had a tool to help them shorten the 

time  necessary  to  assess  whether  a  design  configuration  was  satisfactorily  meeting  their  own 

design criteria. Third, the results suggest that ‘virtual’ project managers can be more successful 

in  ensuring  that  design  outcomes  meet  key  criteria  (in  terms  of  total  budget  and  building  time) 

than co-located project managers. It therefore appears that the concerns raised by ‘virtual’ project 

managers  (in  terms  of  perceived  difficulties  in  asserting  their  authority)  do  not  necessarily 

manifest that they are unable to influence the engineering design process.   

The  effectiveness  of  the  Repository  was  unclear.  While  there  is  evidence  that  knowledge 

reuse  occurs  through  social  knowledge  networks  (Demian  and  Fruchter  2006),  only  a  small 

number of users invested time and effort to document some of the chat-based dialogues and/or to 

add  notes  into  the  repository.  We  found,  for  example,  some  evidence  of  users  looking  for 

benchmarking information in the repository; as stated by one participant: “From the knowledge 

database I found information pertinent to architects, for example, the cost of different materials. 

This helped to reduce my uncertainties and gave me more confidence in trying to achieve a “right 

first  time”  approach.”  However,  even  users  who  found  the  repository  useful  may  have  acted 

opportunistically  in  the  sense  that  at  the  end  of  their  own  experiment  they  did  not  spend  time 

adding new insights or documenting valuable parts of their dialogues: 

“Before  the  exercise  began,  I  took  time  to  read  through  all  the  knowledge  base.  This 

provided  a  few  useful  tips,  and  shed  some  early  light  on  the  design  objectives  of  the  other 

---