Amazon Web Services tillkännagav på tisdagen den allmänna tillgängligheten av verktyg som ger mer finkornig kontroll till datasjöhantering.
Först, rad- och cellnivåsäkerhet för Lake Formation “lägger rätt data i händerna på rätt personer”, sa AWS VD Adam Selipsky under sitt AWS re:Invent-grundtal.
Lake Formation gör det redan möjligt för kunder att flytta data till S3-datasjöar, rensa och klassificera dem med hjälp av maskininlärning och säker åtkomst till känslig data. Det nya verktyget låter nu kunder tillämpa åtkomstkontroller för enskilda rader och celler. Istället för att skapa flera tabeller för varje användare och hantera datapipelines kan en kund definiera en uppsättning policyer för specifika rader för specifika användare. Kunder kontrollerar åtkomst till specifika rader och kolumner i frågeresultat och inom AWS Glue ETL-jobb baserat på identiteten för vem som utför åtgärden.
Samtidigt eliminerar Transaktioner för styrda tabeller i Lake Formation behovet av batchuppdateringar. “Data är inte statisk,” sa Selipsky. “Mer och mer data läggs till och flyttas snabbt.”
Nu kan kunder skapa en ny typ av tabell — en styrd tabell — och Lake Formation hanterar automatiskt konflikter och fel för konsekvent vy av data. Användare kommer att kunna hålla jämna steg med data i realtid.
Styrda tabeller stöder ACID-transaktioner som låter flera användare samtidigt och tillförlitligt infoga och ta bort data över flera styrda tabeller. ACID-transaktioner låter kunder också köra frågor som returnerar konsekventa och uppdaterade data. I händelse av fel i ETL-processer, eller under en uppdatering, görs inga ändringar och kommer inte att vara synliga.
Kunder som använder styrda tabeller kan använda automatisk komprimering för lagringsoptimering. När det här alternativet är aktiverat komprimerar Lake Formation automatiskt små S3-objekt i styrda tabeller till större objekt för att optimera åtkomsten via analysmotorer, som Amazon Athena och Amazon Redshift Spectrum.
AWS re:Invent
AWS förbättrar sitt branschspel på re:Invent 2021 AWS VD tillkännager ny privat 5G-tjänst AWS tar sikte på stordatorer med migreringstjänst AWS lanserar kvartett av serverlösa, on-demand-lösningar Mer finkorniga kontroller kommer till AWS Lake Formation AWS riktar sig till bil- och industrisektorer med FleetWise, TwinMaker Processor roadmap lägger till Graviton3, Trainium, nya instanser IoT RoboRunner syftar till att hantera robotflottor Amazon | Big Data Analytics | Innovation | CXO | Artificiell intelligens | Företagsprogramvara