×
180702-github-example-page.jpg
Een scan van miljarden bestanden van 13 procent van alle GitHub openbare archieven over een periode van zes maanden is gebleken dat meer dan 100.000 repo ‘ s hebben gelekt API-tokens en cryptografische sleutels, met duizenden nieuwe repositories lekkende nieuwe geheimen op een dagelijkse basis.
De scan is het object van wetenschappelijk onderzoek, uitgevoerd door een team van de North Carolina State University (NCSU), de studie en de resultaten zijn gedeeld met GitHub, gehandeld op de bevindingen te versnellen zijn werk op een nieuwe beveiligingsfunctie Token Scannen, momenteel in beta.
Academici gescand miljarden GitHub bestanden
De NCSU studie is de meest uitgebreide en diepgaande GitHub scan-to-date en overtreft alle vorige onderzoek in zijn soort.
De NCSU academici gescand GitHub accounts voor een periode van bijna zes maanden, tussen 31 oktober 2017, April 20, 2018, en keek naar tekst opgemaakt als de API-tokens en cryptografische sleutels.
Ze hadden niet alleen gebruik maken van de GitHub Search API om te kijken voor deze tekst patronen, net als andere vorige onderzoek inspanningen, maar ze leken ook op GitHub repository snapshots opgenomen in Google BigQuery database.
Over een periode van zes maanden, onderzoekers geanalyseerd miljarden bestanden van miljoenen GitHub repositories.
In een research paper, gepubliceerd in de laatste maand, de drie-man NCSU team zei ze gevangen en geanalyseerd 4,394,476 bestanden die 681,784 repo ‘s met de GitHub Search API, en andere 2,312,763,353 bestanden van 3,374,973 repo’ s die waren opgenomen in Google BigQuery database.
De NCSU team gescand voor de API-tokens van 11 bedrijven
In dit gigantische stapel van bestanden, onderzoekers keken naar tekenreeksen die in de indeling van bepaalde API-tokens of cryptografische sleutels.
Aangezien niet alle API-tokens en cryptografische sleutels zijn in hetzelfde formaat, de NCSU team besloot op 15 API token formaten (van 15 diensten van 11 bedrijven, waarvan er vijf werden uit de Alexa Top 50), en vier cryptografische sleutel formaten.
Dit omvatte de API key-indelingen die worden gebruikt door Google, Amazon, Twitter, Facebook, Mailchimp, MailGun, Streep, Twilio, Vierkant, Braintree, en Picatic.
Afbeelding: Meli et. al
×
de ncsu-github-scan-getest-api ‘ s.png
Resultaten kwam terug met duizenden API en cryptografische sleutels lekken gevonden worden elke dag van het onderzoek.
In totaal heeft de NCSU team gezegd dat ze vond 575,456 API en cryptografische sleutels, die 201,642 waren uniek, alle verdeeld over meer dan 100.000 GitHub projecten.
Afbeelding: Meli et. al
×
de ncsu-github-scan-resultaten.png
Een observatie die het onderzoeksteam gemaakt in hun academische papier was dat van de “geheimen” te vinden met behulp van de Google Search API en degenen die via de Google BigQuery dataset had ook weinig overlap.
“Na de toetreding tot beide collecties, hebben we vastgesteld dat 7,044 geheimen, of 3.49% van het totaal, werden gezien in beide datasets. Dit geeft aan dat onze benaderingen grotendeels complementair zijn,” de onderzoekers gezegd.
Bovendien, de meeste van de API-tokens en cryptografische sleutels –93.58 procent-kwam van één eigenaar accounts, in plaats van de multi-eigenaar repositories.
Wat dit betekent is dat de overgrote meerderheid van de API en cryptografische sleutels gevonden door de NCSU team waren het meest waarschijnlijk geldige munten en sleutels die gebruikt worden in de echte wereld, zoals multi-eigenaar accounts meestal de neiging om te bevatten test tokens gebruikt voor shared-test-omgevingen en met in-dev-code.
Gelekt API en crypto-toetsen om rond te hangen voor weken
Omdat het onderzoek ook plaatsgevonden over een periode van zes maanden onderzoekers hadden ook een kans om zich, indien en wanneer rekening eigenaren zouden beseffen dat ze het hebben gelekt API en cryptografische sleutels, en te verwijderen van de gevoelige gegevens van hun code.
Het team zei dat zes procent van de API en cryptografische sleutels die zij hebben gevolgd zijn verwijderd binnen een uur nadat ze gelekt, wat suggereert dat deze GitHub eigenaren besefte hun fout meteen.
Over 12 procent van de sleutels en de lopers waren gegaan na een dag, terwijl 19 procent bleef zo veel als 16 dagen.
“Dit betekent ook dat 81% van de geheimen ontdekken we werden wel niet weggenomen,” de onderzoekers gezegd. “Het is waarschijnlijk dat de ontwikkelaars voor deze 81% ofwel niet weten van de geheimen worden gepleegd of onderschatten het risico van een compromis.”
Afbeelding: Meli et. al
×
de ncsu-github-scan-tijdlijn.png
Onderzoek team onthult een aantal high-profile lekken
De uitzonderlijke kwaliteit van deze scans bleek toen de onderzoekers gingen op zoek naar wat en waar waren sommige van deze lekken waren afkomstig is.
“In één geval, we vonden wat we geloven dat AWS referenties voor een grote website vertrouwd door miljoenen college de aanvrager in de Verenigde Staten, mogelijk gelekt door een aannemer,” de NCSU team gezegd.
“We vonden ook AWS referenties voor op de website van een grote overheidsinstelling in een West-Europees land. In dat geval, zullen wij in staat waren om de geldigheid van het account, en zelfs de specifieke ontwikkelaar die zich de geheimen. Deze ontwikkelaar beweert in hun online aanwezigheid te hebben bijna 10 jaar ervaring in de ontwikkeling.”
In een ander geval, onderzoekers vonden ook 564 Google API-sleutels die wordt gebruikt door een online site die rok YouTube-tarief van grenzen en het downloaden van YouTube-video ‘ s die ze zou later hosten op een andere video-sharing portal.
“Omdat het aantal toetsen is zo hoog, we vermoeden (maar kan niet bevestigen dat deze sleutels kunnen zijn verkregen frauduleus,” NCSU onderzoekers gezegd.
Laatste maar niet de minste, onderzoekers vonden ook 7,280 RSA-sleutels van binnen OpenVPN config bestanden. Door te kijken naar de overige instellingen vindt u in deze configuratie bestanden, onderzoekers zeiden dat de overgrote meerderheid van de gebruikers had uitgeschakeld wachtwoord verificatie en werden volledig te vertrouwen op de RSA-sleutels voor authenticatie, wat betekent dat iedereen die deze sleutels hebben opgedaan toegang tot vele duizenden niet-openbare netwerken.
De hoge kwaliteit van de scan resultaten werd ook duidelijk toen de onderzoekers gebruikt voor andere API token-scanning tools voor het analyseren van hun eigen dataset, om de efficiëntie te bepalen van de scan systeem.
“Onze resultaten tonen aan dat TruffleHog is grotendeels ineffectief is op het ontdekken van geheimen, zoals het algoritme alleen gedetecteerd 25.236% van de geheimen in onze Zoektocht dataset en 29.39% in de BigQuery dataset,” het onderzoeksteam zei.
GitHub is zich bewust en op de baan
In een interview met ZDNet vandaag, Brad Reaves, Assistent-Professor aan het Department of Computer Science aan de North Carolina State University, zei ze deelden het onderzoek, waarvan de resultaten met GitHub in 2018.
“We hebben gesproken over de resultaten met GitHub. Ze gestart met een intern project te detecteren en stelt ontwikkelaars over de uitgelekte geheimen rond de tijd dat we werden afronden van onze studie. Dit project werd openlijk erkend in oktober 2018,” Reaves zei.
“We kregen te horen dat ze de controle meer geheimen dan die vermeld in de documentatie, maar we waren niet verder in details.
“Omdat het lekken van dit type is zo alomtegenwoordig, het zou erg moeilijk voor ons om te informeren van alle betrokken ontwikkelaars. Een van de vele uitdagingen waarmee wij geconfronteerd worden is dat we gewoon niet een manier om het verkrijgen van een veilig contact informatie voor GitHub-ontwikkelaars op schaal”, Reaves toegevoegd.
“Op het moment dat onze krant ter perse ging, waren we proberen te werken met GitHub te doen van meldingen, maar gezien de overlap tussen onze token scannen en die van hen, ze voelde een extra melding was niet nodig.”
API-sleutel lekken –een bekend probleem
Het probleem van de ontwikkelaars van het verlaten van hun API en cryptografische sleutels in apps en websites’ source code is niet nieuw. Amazon heeft aangespoord web-ontwikkelaars zoeken hun code en verwijder eventuele AWS toetsen van het openbaar repo ‘s zo ver als 2014, en heeft zelfs een hulpprogramma uitgebracht om hen te helpen scan repo’ s voor het plegen code naar een openbaar archief.
Sommige bedrijven hebben het op zich genomen om te scannen GitHub en andere code-sharing repositories voor accidentaly blootgesteld API sleutels, en intrekken van de lopers nog voordat API key eigenaren merken de lek of misbruik.
Wat de NCSU studie heeft gedaan is de meest diepgaande kijk op dit probleem-to-date.
Het papier dat Reaves schreef samen met Michael Meli en Matthew R. McNiece is getiteld “Hoe erg Kan Het Git? Kenmerkend Geheim Lekkage in de Openbare GitHub Repositories,” en is beschikbaar voor download in PDF-formaat.
“Onze bevindingen tonen aan dat credential management in open-source software repositories is nog steeds een uitdaging voor beginners en gevorderden,” Reaves ons verteld.
Verwante zekerheid:
Microsoft brengt de Toepassing Guard extensie voor Chrome en FirefoxGoogle open-source project voor ‘sandboxing’ – C/C++ – bibliotheken op LinuxMicrosoft op te lossen ‘roman bug klasse’ ontdekt door Google engineerKaspersky bestanden antitrust-klacht tegen Apple in RussiaAT&T, Comcast met succes test SCHUDDEN/ROEREN protocol voor de bestrijding van robocallsNokia firmware blunder verzonden gebruikersgegevens naar China
Slack ‘ s nieuwe enterprise-grade security tool kunt u toevoegen encryptie sleutels TechRepublicAmazon de Rekognition software kunt cops spoor gezichten CNET
Verwante Onderwerpen:
Open Source
Beveiliging TV
Data Management
CXO
Datacenters