Uppgifter om tåg vraket som var Australiens 2016 online Folkräkning som har uppstått, ZDNet har observerat hur det var en sammanflödet av misslyckande, faktiskt, en omnishambles av fantastiska proportioner. Det var oförlåtligt.
På torsdag, men kom två rapporter som inte bara gett oss ytterligare ett bevis på inkompetens i Australian Bureau of Statistics (ABS), men de var också officiell. Deras undertexter säger allt.
En rapport av Senaten Ständiga Utskott för Ekonomi undersökning i Folkräkningen, som hade underrubriken “Frågor om förtroende”.
Två, Översyn av Händelserna Kring 2016 eCensus [PDF] av Särskild Rådgivare till Statsministern om It-Säkerhet Alastair MacGibbon, som hade underrubriken “att Förbättra de institutionella it-säkerhet kultur och praxis inom den Australiensiska regeringen”.
Det finns en hel del överlappning mellan de två rapporterna. Mycket av det vi redan visste, inte minst i breda termer.
“Det verkar ha varit betydande och uppenbara förbiseenden i beredningen av eCensus,” sade Senatens rapport (avsnitt 6.82), ett mästerverk av underdrift.
Vi visste till exempel att eCensus ansökan föll över i ansiktet av små distributed denial of service (DDoS) attacker, även om huvudentreprenör IBM hade försäkrat ABS att allt var bra.
Vi vet nu tidslinjen i mer detalj, och hur lite tester gjordes på “Ön Australien” strategi för DDoS begränsning — det är helt enkelt blockerar all trafik från och med utanför landet.
“Testningen var begränsad — IBM enkelt aktiveras Island Australien i 10 minuter och övervakat system för internationell trafik, medan IBM försökte komma åt systemet från utlandet,” MacGibbon rapporten.
“IBM och ABS handlingar tyder på en obalans mellan risk, avsedd begränsning, och genomförandet av” Island Australien strategi.”
ABS och IBM är fortfarande bråkar om vems fel det var. Ja, det verkar vara den viktigaste frågan som ska hålla advokater upptagen.
Vi visste att medan eCensus ansökan kollapsade på Folkräkningen Natt, ABS kommunikation strategi kollapsade tillsammans med den. När Twitter översvämmades med klagomål, till exempel, ABS fortsatte att twittra att det var kört “smidigt som förväntat”.
Vi vet nu att den kommunikation som strategi, fokuserade enbart på en ökad medvetenhet, var dömt från början.
“ABS misslyckats med att anpassa sina media och kommunikation i svar till pr storm som var bryggning i veckor före Folkräkningen om integritet och säkerhet i både traditionella och sociala medier. Istället, ABS strikt hållit fast vid sina planer, vad som anförts avgörande möjligheter att påverka och driva samtalet kring folk-och bostadsräkningen,” MacGibbon skrev.
ABS’ “sociala medier krisen upptrappning matrix” hade två huvudsakliga brister. Den mest kritiska “röd nivå scenario” för negativa samtalet var bara om någon hade 10 000 eller fler anhängare, eller ett inlägg som hade över 30 uppdrag. Och svaret på ett sådant scenario var helt enkelt att hålla alla sociala medier kommunikation.
ABS hade också bestämt sig för att “primary fordon” för att föra en dialog med allmänheten om de utökade plan för att behålla folks namn och adresser som skulle kunna påverka den personliga integriteten bedömning (PIA), ett byråkratiskt dokument, med offentliga samrådet begränsad till endast fyra veckor innan Julen 2015.
Som Senatens rapport uttryckte det (avsnitt 4.76), “Det är uppenbart att den kommitté som nivå av samråd som genomförts av ABS i leder fram till detta beslut att behålla namn och adress] var uppenbart otillräcklig, särskilt med tanke på de förändringar som påverkar alla Australiska hushåll. På ett minimum, PIA ska ha utförts av ett oberoende organ.”
Senaten också noteras (avsnitt 4.36) som en 2005 PIA förutsåg integritetsfrågor med namn och adress lagring, så att ABS beslutat att länka endast 5 procent av namn och adresser.
2015 PIA för 2016 Folkräkningen, men drog slutsatsen att länka till 100 procent av namn och adresser skulle vara OK (avsnitt 4.34), eftersom sannolikheten av ett “litet antal potentiella risker för personlig integritet och allmänhetens uppfattning av ABS” eventuating skulle vara “mycket låg”.
“ABS verkade inte förklara varför resultaten av 2005 PIA var betydligt annorlunda från 2015 PIA,” Senaten nämnts (avsnitt 4.36).
Tillsammans visar de rapporter dokumentera ett omfattande bortfall av ABS ledning. ABS misslyckats med att förstå och hantera IT-aspekter av de viktigaste projektet på sin agenda. Och ABS undgått att märka att världen utanför hade gått vidare, både i sin förståelse av integritetsrisker, och i användningen av sociala medier i opinionsbildningen.
Som så många organisatoriska misslyckanden, allt vilade på kulturella problem.
MacGibbon rapport, till exempel, citerade en svidande 2014 granskning av oberoende konsultföretag CapDA av ABS’ kapacitet och möjlighet att köra folk-och bostadsräkningen.
Rigorös projektledning var “inte starkt inbäddade” i ABS kultur, och organisationens inställning till agil utveckling betydde “säkerhet, hög prestanda och tillgänglighet [var] anses vara sent i cykeln”.
“Det fanns inga bevis för att någon ansökan eller datacenter för övervakning av prestanda är på plats,” CapDA skrev.
“Det var oklart om, och i vilka, ansvar och befogenheter för att göra viktiga arkitektoniska beslut.”
MacGibbon konstateras att förberedelserna för folk-och bostadsräkningen genomfördes under en komplicerad tid” för ABS. Placeringen av dess ledare, den Australiska Statistiker, var ledig för de flesta av 2014. För mig, som pekar på en annan misslyckande-en av successionsplanering.
“Det står emellertid klart att ABS-kultur tydligt bidragit till resultaten på Folkräkningen Natt. ABS agerande eftersom bara understryker vikten av kultur: Det har konsekvent vägrat att äga frågan och erkänna ansvar för de faktorer som leder till händelser och brister i hanteringen av händelser på natten,” MacGibbon skrev.
Den Senate rapporten gör 14 rekommendationer, de flesta av dem uppenbart från den avslöjade problem: Samråd kräver ett aktivt samarbete med de icke-statliga och privata sektorn, inte bara myndigheter; öppna anbudsförfaranden sökprocesser, inte vendor lock-in med IBM, mer rigorösa tester av eCensus ansökan, PIAs utföras externt, inte av ABS sig; och så vidare.
Rekommendation 11 hade mig något förbryllad, dock.
“Kommittén rekommenderar att ansvariga ministrar söka sex månatliga genomgångar på utvecklingen av Folkräkningen preparat. Dessa genomgångar bör omfatta frågor, inklusive, men inte begränsat till, it-säkerhet, är systemets redundans, upphandling, och kapaciteten för ABS för att hantera risker i samband med folk-och bostadsräkningen”, står det.
Hur ministrarna är avsedda att förstå dessa genomgångar när en minister som inte ens förstår hur decimaler arbete förblir ett mysterium.
För mig är dock den avgörande frågan är här hela övningen kommer en gång från CapDA recension, denna gång som nämns i avsnitt 6.70 av Senatens rapport.
“CapDA rapport belyser professionalism och engagemang av personalen på ABS, men i slutet rekommenderar att ABS inte har den inre kapacitet att utveckla och distribuera en eCensus. Om de inte har förmåga att utveckla en lösning själva, det är självklart att de endast har en begränsad kapacitet att ifrågasätta och utmana en entreprenör som är anställd för att utveckla en sådan lösning.”
Om ingen i organisationen förstår tekniken, då du inte kan hantera tekniken projekt, oavsett om de är utförda av intern personal eller externa leverantörer.