Nvidia heeft dinsdag de achtste generatie van zijn veelgebruikte TensorRT onthuld en kondigde aan dat de AI-software twee keer zo krachtig en nauwkeurig is als zijn voorganger, terwijl de inferentietijd voor taalvragen gehalveerd wordt.
Tensor RT wordt door honderden bedrijven gebruikt voor zaken als zoekmachines, advertentieaanbevelingen en chatbots. Siddharth Sharma, hoofd van het productmarketingteam voor Nvidia's AI-software, vertelde maandag aan verslaggevers dat het meer dan 2,5 miljoen keer is gedownload en in gebruik is door bedrijven als American Express, Verizon, LG, Ford, SK Telecom, KLA, Naver , GE Healthcare en USPS.
“TensorRT 8 is twee keer zo krachtig als 7, twee keer zo nauwkeurig als TensorRT 7, en het ondersteunt sparsity, wat de hoeveelheid rekenkracht en geheugen die nodig is voor het uitvoeren van applicaties drastisch kan verminderen,” zei Sharma.
“Met deze prestatie kun je nu de hele Bert-Large binnen een milliseconde inzetten. Dat is enorm en ik geloof dat dat gaat leiden tot een compleet nieuwe generatie conversatie-AI-applicaties. Een niveau van slimheid, een niveau van latentie dat was nog nooit eerder gehoord.”
Sharma legde uit dat de optimalisaties van TensorRT 8 ook zorgen voor “recordsnelheid voor taaltoepassingen, met BERT-Large, een van 's werelds meest gebruikte op transformatoren gebaseerde modellen, in 1,2 milliseconden.”
“In het verleden moesten bedrijven hun modelgrootte verkleinen, wat resulteerde in aanzienlijk minder nauwkeurige resultaten. Nu, met TensorRT 8, kunnen bedrijven hun modelgrootte verdubbelen of verdrievoudigen om dramatische verbeteringen in nauwkeurigheid te bereiken”, voegde Sharma eraan toe.
TensorRT 8 is nu gratis beschikbaar voor leden van het Nvidia Developer-programma. De TensorRT GitHub-repository bevat ook de nieuwste versies van plug-ins, parsers en voorbeelden.
Greg Estes, vice-president van ontwikkelaarsprogramma's bij Nvidia, zei dat AI-modellen exponentieel complexer worden en dat de wereldwijde vraag naar realtime-applicaties die AI gebruiken toeneemt.
De nieuwste versie van TensorRT, zei Estes, introduceert nieuwe mogelijkheden die bedrijven in staat stellen om conversatie-AI-applicaties aan hun klanten te leveren “met een kwaliteitsniveau en reactievermogen dat nooit eerder mogelijk was”.
In de afgelopen vijf jaar zei Nvidia dat meer dan 350.000 ontwikkelaars in 27.500 bedrijven TensorRT hebben gebruikt, en Estes merkte op dat TensorRT-applicaties “kunnen worden ingezet in hyperscale datacenters, embedded of automotive productplatforms.”
Sharma vertelde verslaggevers dat de unieke AI-inferentie van TensorRT 8 mogelijk werd gemaakt door Sparsity en Quantization, twee belangrijke functies die de efficiëntie verhogen en ontwikkelaars in staat stellen om “getrainde modellen te gebruiken om inferentie in INT8-precisie uit te voeren zonder de nauwkeurigheid te verliezen”.
GE Healthcare gebruikt TensorRT in computer vision-toepassingen voor echografie, en Erik Steen, hoofdingenieur Cardiovascular Ultrasound bij GE Healthcare, zei dat de tool essentieel was om clinici te helpen sneller te werken.
“Als het op echografie aankomt, besteden clinici kostbare tijd aan het selecteren en meten van beelden. Tijdens het R&D-project dat leidde tot de Vivid Patient Care Elevated Release, wilden we het proces efficiënter maken door geautomatiseerde detectie van het hartbeeld te implementeren op onze Vivid E95 scanner', zegt Steen.
“Het algoritme voor herkenning van het beeld van het hart selecteert geschikte beelden voor analyse van de beweging van de hartwand. TensorRT, met zijn real-time inferentiemogelijkheden, verbetert de prestaties van het algoritme voor beelddetectie en het verkortte ook onze time-to-market tijdens het R&D-project.”
Kunstmatige intelligentie
Wat is AI? Alles wat u moet weten over Artificial Intelligence AI en data science-banen is hot. Dit is wat werkgevers willen De beste telepresence-robots om AI's te kopen worden steeds slimmer en sneller. Dat creëert lastige vragen die we niet kunnen beantwoorden. AI-banen zijn booming. Dit zijn de vaardigheden die je nodig hebt om aangenomen te worden (ZDNet YouTube) Kunstmatige intelligentie: Cheatsheet (TechRepublic)
Verwante onderwerpen:
Kunstmatige intelligentie Hardware Intel ARM-innovatie 