April 22nd-28th 2023 Ukraine’s game plan

could go wrong
I
n 1960 norbert wiener
published a
prescient essay. In it, the father of cyber­
netics worried about a world in which “ma­
chines learn” and “develop unforeseen
strategies at rates that baffle their program­
mers.” Such strategies, he thought, might
involve actions that those programmers
did not “really desire” and were instead
“merely colourful imitation[s] of it.” Wie­
ner illustrated his point with the German
poet Goethe’s fable, “The Sorcerer’s Ap­
prentice”, in which a trainee magician en­
chants a broom to fetch water to fill his
master’s bath. But the trainee is unable to
stop the broom when its task is complete.
It eventually brings so much water that it
floods the room, having lacked the com­
mon sense to know when to stop.
The striking progress of modern artifi­
cial­intelligence (
AI
) research has seen
Wiener’s fears resurface. In August 2022, 
AI
Impacts, an American research group, pub­
lished a survey that asked more than 700
machine­learning researchers about their
predictions for both progress in 
AI
and the
risks the technology might pose. The typi­
cal respondent reckoned there was a 5%
probability of advanced 
AI 
causing an “ex­
tremely bad” outcome, such as human ex­
tinction (see chart). Fei­Fei Li, an 
AI
lumin­
ary at Stanford University, talks of a “civili­
sational moment” for 
AI
. Asked by an
quality writing and chat knowledgeably
about all kinds of topics. As Robert Trager
of the Centre for Governance on 
AI
ex­
plains, one risk is of such software “mak­
ing it easier to do lots of things—and thus
allowing more people to do them.”
The most immediate risk is that 
LLM
s
could amplify the sort of quotidian harms
that can be perpetrated on the internet to­
day. A text­generation engine that can con­
vincingly imitate a variety of styles is ideal
for spreading misinformation, scamming
people out of their money or convincing
employees to click on dodgy links in
emails, infecting their company’s comput­
ers with malware. Chatbots have also been
used to cheat at school.
Like souped­up search engines, chat­
bots can also help humans fetch and un­
derstand information. That can be a dou­
ble­edged sword. In April, a Pakistani court
used 
GPT
­4 to help make a decision on
granting bail—it even included a transcript
of a conversation with 
GPT
­4 in its judg­
ment. In a preprint published on arXiv on
April 11th, researchers from Carnegie Mel­
lon University say they designed a system
that, given simple prompts such as “syn­
thesise ibuprofen”, searches the internet
and spits out instructions on how to pro­
duce the painkiller from precursor chemi­
cals. But there is no reason that such a pro­
gram would be limited to beneficial drugs.
Some researchers, meanwhile, are con­
sumed by much bigger worries. They fret
about “alignment problems”, the technical
name for the concern raised by Wiener in
his essay. The risk here is that, like Goethe’s
enchanted broom, an 
AI 
might single­
mindedly pursue a goal set by a user, but in
the process do something harmful that was
not desired. The best­known example is
the “paperclip maximiser”, a thought ex­
periment described by Nick Bostrom, a
philosopher, in 2003. An 
AI
is instructed to
manufacture as many paperclips as it can.
Being an idiot savant, such an open­ended
goal leads the maximiser to take any mea­
sures necessary to cover the Earth in paper­
clip factories, exterminating humanity
along the way. Such a scenario may sound
like an unused plotline from a Douglas Ad­
ams novel. But, as 
AI
Impacts’ poll shows,
many 
AI
researchers think that not to wor­
ry about the behaviour of a digital superin­
telligence would be complacent.
What to do? The more familiar pro­
blems seem the most tractable. Before re­
leasing 
GPT
­4, which powers the latest ver­
sion of its chatbot, Open
AI
used several ap­
proaches to reduce the risk of accidents
and misuse. One is called “reinforcement
learning from human feedback” (
RLHF
).
Described in a paper published in 2017,
RLHF
asks humans to provide feedback on
whether a model’s response to a prompt
was appropriate. The model is then updat­
ed based on that feedback. The goal is to re­