redisgate Gent boost_fiber bfiber_1400

Boost.Fiber GPU computing

CUDA

CUDA(Compute Unified Device Architecture)는 NVIDIA GPU의 병렬 컴퓨팅을 위한 플랫폼입니다.
CUDA의 응용 프로그래밍 인터페이스는 GPU의 명령 세트 및 계산 리소스(계산 커널 실행)에 대한 액세스를 제공합니다.

📦 Synchronization with CUDA streams - CUDA 스트림과 동기화

컴퓨팅 커널이나 메모리 전송(호스트와 장치 간)과 같은 CUDA 작업은 CUDA 스트림으로 그룹화/대기열에 추가될 수 있습니다.   GPU에서 실행됩니다. Boost.Fiber는 CUDA 스트림이 작업을 완료할 때까지 파이버를 절전(sleep)(일시 중단/suspend) 상태로 유지합니다.   이를 통해 애플리케이션은 추가 OS 스레드를 생성할 필요 없이 CPU에서 다른 파이버를 실행할 수 있습니다.   그리고 CUDA 스트림이 완료되면 파이버를 재개합니다.

__global__ void kernel( int size, int * a, int * b, int * c) { int idx = threadIdx.x + blockIdx.x * blockDim.x; if ( idx < size) { int idx1 = (idx + 1) % 256; int idx2 = (idx + 2) % 256; float as = (a[idx] + a[idx1] + a[idx2]) / 3.0f; float bs = (b[idx] + b[idx1] + b[idx2]) / 3.0f; c[idx] = (as + bs) / 2; } } boost::fibers::fiber f([&done]{ cudaStream_t stream; cudaStreamCreate( & stream); int size = 1024 * 1024; int full_size = 20 * size; int * host_a, * host_b, * host_c; cudaHostAlloc( & host_a, full_size * sizeof( int), cudaHostAllocDefault); cudaHostAlloc( & host_b, full_size * sizeof( int), cudaHostAllocDefault); cudaHostAlloc( & host_c, full_size * sizeof( int), cudaHostAllocDefault); int * dev_a, * dev_b, * dev_c; cudaMalloc( & dev_a, size * sizeof( int) ); cudaMalloc( & dev_b, size * sizeof( int) ); cudaMalloc( & dev_c, size * sizeof( int) ); std::minstd_rand generator; std::uniform_int_distribution<> distribution(1, 6); for ( int i = 0; i < full_size; ++i) { host_a[i] = distribution( generator); host_b[i] = distribution( generator); } for ( int i = 0; i < full_size; i += size) { cudaMemcpyAsync( dev_a, host_a + i, size * sizeof( int), cudaMemcpyHostToDevice, stream); cudaMemcpyAsync( dev_b, host_b + i, size * sizeof( int), cudaMemcpyHostToDevice, stream); kernel<<< size / 256, 256, 0, stream >>>( size, dev_a, dev_b, dev_c); cudaMemcpyAsync( host_c + i, dev_c, size * sizeof( int), cudaMemcpyDeviceToHost, stream); } // suspend fiber till CUDA stream has finished auto result = boost::fibers::cuda::waitfor_all( stream); BOOST_ASSERT( stream == std::get< 0 >( result) ); BOOST_ASSERT( cudaSuccess == std::get< 1 >( result) ); std::cout << "f1: GPU computation finished" << std::endl; cudaFreeHost( host_a); cudaFreeHost( host_b); cudaFreeHost( host_c); cudaFree( dev_a); cudaFree( dev_b); cudaFree( dev_c); cudaStreamDestroy( stream); }); f.join();

📦 Synopsis

🔧 Non-member function cuda::waitfor()

ROCm/HIP

HIP는 AMD 및 NVIDIA GPU의 병렬 컴퓨팅을 위한 ROC(Radeon Open Compute) 플랫폼의 일부입니다.
HIP의 애플리케이션 프로그래밍 인터페이스는 GPU의 명령어 세트 및 계산 리소스(컴퓨팅 커널 실행)에 대한 액세스를 제공합니다.

📦 Synchronization with ROCm/HIP streams - ROCm/HIP 스트림과 동기화

컴퓨팅 커널 또는 메모리 전송(호스트와 장치 간)과 같은 HIP 작업은 HIP 스트림을 기준으로 그룹화/대기열에 추가될 수 있습니다.   GPU에서 실행됩니다.   Boost.Fiber는 HIP 스트림이 작업을 완료할 때까지 파이버를 절전(sleep)(일시 중지/suspend) 상태로 유지합니다.   이를 통해 애플리케이션은 추가 OS 스레드를 생성할 필요 없이 CPU에서 다른 파이버를 실행할 수 있습니다.   HIP 스트림이 완료되면 파이버를 재개합니다.

📦 Synopsis