NVIDIAの開発者向けサイトでIntroduction to Real-Time Ray Tracing with Vulkanという記事が公開されています.
Introduction to Real-Time Ray Tracing with Vulkan
https://devblogs.nvidia.com/vulkan-raytracing/
この記事ではVK_NVX_raytracing拡張からRTXを利用することが紹介されています（この記事執筆時点では公開されていない拡張です）.
記事を読むとわかりますが,VK_NVX_raytracingによるレイトレーシングはOptiXやDXRと比較的近い構造になっています.シェーダはGLSLで記述をします.