×
180702-github-example-page.jpg
En scanning af milliarder af filer fra 13 procent af alle GitHub offentlige arkiver over en periode på seks måneder har afsløret, at over 100.000 genkøbsforretninger har lækket API tokens og kryptografiske nøgler, med tusindvis af nye arkiver utæt nye hemmeligheder på en daglig basis.
Scanningen var genstand for akademisk forskning, der er gennemført af et hold fra North Carolina State University (NCSU), og undersøgelsens resultater er blevet delt med GitHub, som har handlet på resultaterne til at fremskynde sit arbejde på en ny sikkerhedsfunktion, der kaldes Token Scanning, i øjeblikket i beta.
Akademikere scannet milliarder af GitHub filer
Den NCSU undersøgelsen er den mest omfattende og dybdegående GitHub scan til dato, og overskrider alle tidligere forskning af sin slags.
NCSU akademikere scannet GitHub konti i en periode på næsten seks måneder, fra oktober 31, i 2017, og den 20 April 2018, og kiggede for en tekst, der er formateret som API tokens og kryptografiske nøgler.
At de ikke bare bruge GitHub Søge-API ‘ et til at se efter disse tekster mønstre, som andre tidligere forskning, men de har også kigget på GitHub repository snapshots, der er optaget i Googles BigQuery database.
På tværs af de seks-måneders periode, forskere analyseret milliarder af filer fra millioner af GitHub repositories.
I en undersøgelse offentliggjort i sidste måned, tre mand NCSU holdet, sagde, at de opsamlet og analyseret 4,394,476 filer, der repræsenterer 681,784 genkøbsforretninger at bruge GitHub Søge-API, og en anden 2,312,763,353 filer fra 3,374,973 genkøbsforretninger, der var blevet optaget i Googles BigQuery database.
NCSU team scannet for API tokens fra 11 virksomheder
Inde i denne gigantisk bunke af filer, forskerne kiggede efter tekststrenge, der var i det format, der er af særlig API tokens eller kryptografiske nøgler.
Da ikke alle API tokens og kryptografiske nøgler, som er i samme format, NCSU team besluttede på 15 API token formater (fra 15 tjenester, der hører til 11 virksomheder, hvoraf fem var fra Alexa Top 50), og fire kryptografisk nøgle formater.
Dette omfattede en API-nøgle formater, der bruges af Google, Amazon, Twitter, Facebook, Mailchimp, MailGun -, Stribe -, Twilio, Firkantet, Braintree, og Picatic.
Billede: Meli et. al
×
ncsu-github-scan-testet-api ‘ er.png
Resultaterne kom tilbage lige med det samme, med tusindvis af API-og kryptografiske nøgler, som er lækker at blive fundet hver dag af forskningsprojektet.
Alt i alt, NCSU holdet, sagde, at de fandt 575,456 API og kryptografiske nøgler, som 201,642 var unikke, alle spredt over mere end 100.000 GitHub projekter.
Billede: Meli et. al
×
ncsu-github-scan-resultater.png
En observation, som forskningen team har gjort i deres videnskabelige artikel, var, at de “hemmeligheder”, der findes ved hjælp af Google Search API, og dem via Google BigQuery datasæt også havde lidt overlapning.
“Efter at begge samlinger har vi fastslået, at 7,044 hemmeligheder, eller 3.49% af den samlede, var set i begge datasæt. Dette indikerer, at vores tilgang er i høj grad et supplement,” siger forskerne.
Desuden er de fleste af API tokens og kryptografiske nøgler –93.58 procent– kom fra enkelt-ejer regnskaber, snarere end multi-ejer repositories.
Hvad dette betyder er, at langt størstedelen af API-og kryptografiske nøgler fundet ved NCSU holdet var mest sandsynligt gyldig tokens og taster der bruges i den virkelige verden, som multi-ejer konti, der normalt har tendens til at indeholde test møntefterligninger, der anvendes til fælles-test-miljøer og med i-cil-kode.
Lækket API og kryptografiske nøgler til at hænge rundt om uger
Fordi forskningsprojekt, der også fandt sted over en periode på seks måneder, forskere havde også en chance for at observere, hvis og når konto-ejere ville indse, at de har lækket API og kryptografiske nøgler, og fjerne følsom data fra deres kode.
Holdet sagde, at seks procent af API og kryptografiske nøgler de har sporet blev fjernet inden for en time, efter de er lækket, hvilket tyder på, at disse GitHub ejere indså deres fejl med det samme.
Over 12 procent af nøgler og møntefterligninger, der blev væk efter en dag, mens 19 procent har opholdt sig i så meget som 16 dage.
“Det betyder også, at 81% af de hemmeligheder, opdager vi ikke blev fjernet,” siger forskerne. “Det er sandsynligt, at udviklerne for denne 81% enten ikke ved, at de hemmeligheder er ved at blive begået eller undervurderer risikoen for, at gå på kompromis.”
Billede: Meli et. al
×
ncsu-github-scan-tidslinje.png
Forskning team afdækker nogle high-profil utætheder
Den ekstraordinære kvalitet af disse scanninger var tydeligt, når forskere begyndt at se på, hvad og hvor var der nogle af disse lækager var med oprindelse.
“I et tilfælde, fandt vi, hvad vi mener, til at være AWS legitimationsoplysninger for en stor hjemmeside, der er påberåbt af millioner af college ansøgere i Usa, muligvis lækket af en entreprenør,” NCSU holdet.
“Vi fandt også AWS legitimationsoplysninger til hjemmesiden af en større offentlig instans i et vesteuropæisk land. I dette tilfælde, var vi i stand til at kontrollere gyldigheden af de hensyn, og selv de specifikke udvikler, der har begået hemmeligheder. Dette udvikler hævder i deres online tilstedeværelse, der har næsten 10 års erfaring med udvikling.”
I en anden sag, forskerne fandt også, 564 Google API nøglerne, der blev brugt af et online site til nederdel YouTube sats grænser og download YouTube-videoer, som de ville senere vært på en anden deling af video portal.
“Fordi antallet af nøgler er så højt, at vi har mistanke om, (men kan ikke bekræfte, at disse nøgler kan have været opnået svigagtigt,” NCSU siger forskerne.
Sidst, men ikke mindst, forskerne fandt også, 7,280 RSA-nøgler inde OpenVPN config filer. Ved at se på andre indstillinger, der findes inde i disse konfigurationsfiler, siger forskerne, at langt størstedelen af brugerne havde slået password authentication og var udelukkende på RSA-nøgler til godkendelse, hvilket betyder at alle, der fandt disse nøgler kunne have fået adgang til tusindvis af private netværk.
Den høje kvalitet af scanningen var også tydeligt, når forskere, der anvendes andre API-token-scanning værktøj til at analysere deres egne datasæt, for at bestemme effektiviteten af deres scan system.
“Vores resultater viser, at TruffleHog er stort set ineffektive til at opdage hemmeligheder, som i sin algoritme kun fundet 25.236% af de hemmeligheder, i vores Søgen datasæt og 29.39% i BigQuery datasæt,” forskerholdet sagde.
GitHub er klar over, og på job
I et interview med ZDNet i dag, Brad Reaves, Assistant Professor ved Institut for datalogi på North Carolina State University, sagde, at de fælles undersøgelsens resultater med GitHub i 2018.
“Vi har diskuteret resultaterne med GitHub. De har iværksat et internt projekt for at opdage og meddele, at udviklere om hemmeligheder lækket lige omkring den tid, vi var der indpakning for vores undersøgelse. Dette projekt blev offentligt anerkendt i oktober 2018,” Reaves sagde.
“Vi blev fortalt, at de overvåger yderligere hemmeligheder ud over dem, der er nævnt i dokumentationen, men vi blev ikke givet yderligere oplysninger.
“På grund af udsivning af denne type er så gennemgribende, at det ville have været meget svært for os at underrette alle berørte udviklere. En af de mange udfordringer, vi står over for, er, at vi simpelthen ikke har en måde at opnå sikker kontakt oplysninger til GitHub udviklere på skalaen,” Reaves tilføjet.
“På det tidspunkt, vores meddelelse, som gik til pressen, som vi forsøger at arbejde med GitHub til at gøre meddelelser, men på grund af overlap mellem vores token scanning og deres, de følte en supplerende meddelelse ikke var nødvendigt.”
API-nøgle utætheder –et kendt problem
Problemet med udviklere forlader deres API og kryptografiske nøgler i apps og websites ” kildekode er ikke en ny. Amazon har opfordret til, at web-udviklere til at søge deres koder, og fjern eventuelle AWS nøgler fra offentlige arkiver, for så vidt som til 2014, og har endda udgivet et værktøj til at hjælpe dem med at scanne genkøbsforret-ninger, før du sender en kode til en offentlig repo.
Nogle virksomheder har taget det på sig at scanne GitHub og andre kode-deling i arkiverne for uheld udsat API-nøgler, og tilbagekalde de tokens, som endnu før API-nøgle ejere varsel lækagen eller misbrug.
Hvad NCSU undersøgelse har gjort, var at give det mest tilbundsgående kig på dette problem til dato.
Det papir, der Reaves forfattet sammen med Michael Meli og Matthew R. McNiece er titlen “Hvor Slemt Kan Det Git? Karakterisering af Hemmelige Lækage i det Offentlige GitHub Repositories,” og er tilgængelig for download i PDF-format.
“Vores resultater viser, at credential ledelse i open-source software repositories er stadig udfordrende for nybegyndere og eksperter,” Reaves fortalte os.
Relaterede sikkerhed dækning:
Microsoft frigiver Ansøgning Vagt udvidelse til Chrome og FirefoxGoogle åbne kilder projekt for sandboxing C/C++ – biblioteker på LinuxMicrosoft at lave en “ny bug klasse’ opdaget af Google engineerKaspersky filer antitrust klage mod Apple i RussiaAT&T, Comcast held test RYSTET/RØR protokol til bekæmpelse af robocallsNokia firmware bommert sendt nogle bruger data til Kina
Slap ‘ s nye enterprise-klasse-sikkerhed værktøj lader dig tilføje krypteringsnøgler TechRepublicAmazon er Rekognition software kan politiet spore ansigter CNET
Relaterede Emner:
Open Source
Sikkerhed-TV
Data Management
CXO
Datacentre