1. 首先安装NVIDIA最新的显卡驱动,以及 CUDA Toolkit 和 CUDA SDK. 下载地址 here.
2. 安装CUDA之后，你可以测试一下你的机器是否CUDA配置正确。方法如下：进入CUDA安装目录，我将CUDA安装在/Developer目录下。在/Developer/CUDA下有一个Makefile，在该目录下运行make，编译projects目录下的所有demo程序，其中就包括一个deviceQuery程序。编译完成后，你可以在/Developer/CUDA/bin/darwin/release/目录下运行deviceQuery程序，其应该输出以下信息; 否则，你的机器并没有CUDA capable的GPU，或者GPU设备驱动并没有正确安装。
   
3. 下载NVCuda Plugin for Xcode，下载地址here.
4. 解压缩nvcuda_plugin.zip包，将里面的NVCuda.pbplugin文件拷贝到
   “/Library/Application\ Support/Developer/Shared/Xcode/Plug-ins/“ 目录下， 如果你没有这个目录，那么在这个路径上创建相应的目录结构。重新启动你的Xcode后，在你的工程Target的Build Tab下应该有一个叫NVIDA Cuda – Code Generation的Section了。
5. 打开Xcode，创建一个Command Line Utility下的C++ Tool的工程，将你的源代码拷贝到该工程的目录下并加入工程。
6. 在菜单Project -> Edit Active Target下的Build tab进行以下设置
   在Section: Linking中的Other Linker Flags添加-lcuda, -lcudart, 并选中Prebinding
   以及Section: Search Paths中:
   在Header Search Paths中添加CUDA的系统目录/usr/local/cuda/include/**,如果你用到了CUDA SDK里面的函数,则需要加上/Developer/CUDA/common/inc.
   在Library Search Paths中添加CUDA的系统目录/usr/local/cuda/lib,如果你用到了CUDA SDK里面的函数,则需要加上/Developer/CUDA/lib 和/Developer/CUDA/common/lib
   以及Section: NVIDA Cuda – Code Generation中,Host Compilation设置为c++.

   

7. 点击Build and Go 按钮，你的程序应该不会再有”no rule to process file test.cu … for architecture i386″的错误了。
8. 如果你用到了CUDA SDK的函数,有可能会出现Link时找不到相应函数,这时你需要将CUDA SDK的库加入你的工程中,如libcutil.a库文件.
9. Have Fun！

/* Template_Host.c 用于演示如何生成cuda工程的样本程序 */

/* 主机端，也就是cpu code*/

// includes, system
#include <stdlib.h>
#include <stdio.h>
#include <string.h>
#include <math.h>

// includes, project
#include <cutil.h> //调用CUDA扩展必须的头文件
// includes, kernels
#include “template_kernel.cu”
////////////////////////////////////////////////////////////////////////////////
// declaration, forward
void runTest( int argc, char** argv);

extern “C” //表示使用C编译器编译下面函数
void computeGold( float* reference, float* idata, const unsigned int len);
////////////////////////////////////////////////////////////////////////////////
// Program main
// host端程序是在CPU上运行的，可以在其中加入一些C代码，不同的是多了一些CUDA扩展
////////////////////////////////////////////////////////////////////////////////
int main( int argc, char** argv)
{
runTest( argc, argv); //经过封装的显卡计算程序
CUT_EXIT(argc, argv); //退出CUDA，停止使用显卡进行计算
}
////////////////////////////////////////////////////////////////////////////////
//! Run a simple test for CUDA
////////////////////////////////////////////////////////////////////////////////

void runTest( int argc, char** argv)
{
CUT_DEVICE_INIT(argc, argv); //初始化设备，使用多卡时应该加上设备号，或者使用cudasetdevice()函数

unsigned int timer = 0;
CUT_SAFE_CALL( cutCreateTimer( &timer)); //定义一个计时器
CUT_SAFE_CALL( cutStartTimer( timer)); //开始计时

unsigned int num_threads = 32; //定义每个block中的线程数
unsigned int mem_size = sizeof( float) * num_threads; //需要分配的存储器大小，这里每个线程只处理一个浮点数

// allocate host memory
float* h_idata = (float*) malloc( mem_size); //在主机内存上分配空间，前缀h_表示host

// initalize the memory
for( unsigned int i = 0; i < num_threads; ++i){
h_idata[i] = (float) i;  //初始化内存中的数值
}

// allocate device memory
float* d_idata; //定义指针，这个指针将指向显卡上的显存，前缀d_表示device，i表示input
CUDA_SAFE_CALL( cudaMalloc( (void**) &d_idata, mem_size)); //在显卡上分配空间

// copy host memory to device
CUDA_SAFE_CALL( cudaMemcpy( d_idata, h_idata, mem_size, cudaMemcpyHostToDevice) );
//将内存中h_idata中的值拷贝到显存中的d_idata里，这样就完成了主机对设备的数据写入

// allocate device memory for result
float* d_odata; //定义指针，这个指针将指向显卡上的显存，前缀d_表示device，o表示output
CUDA_SAFE_CALL( cudaMalloc( (void**) &d_odata, mem_size)); //在显卡上分配空间

// execute the kernel
testKernel<<< grid, threads, mem_size >>>( d_idata, d_odata);
/*调用核函数，其中那个夸张的<<< >>>中是调用核函数的一些设置，，而( )括号里是程序的的参数列表。<<< >>>里第一个参数是dim3类型的grid网格形状，第二个参数是block的形状，第三个参数表示给核函数分配的shared memory大小。因为我们的grid和threads实际上是一维的，因此以<<< 1, num_threads, mem_size>>>的形式调用testKernel()效果是一样的。（）中的指针必须是指向显存的，而其他参数如float, int等则不必传到显卡。*/

// check if kernel execution generated and error
CUT_CHECK_ERROR(“Kernel execution failed”); //用于检查错误

// allocate mem for the result on host side
float* h_odata = (float*) malloc( mem_size); //在内存上开辟空间准备接收显卡计算得到的结果
// copy result from device to host
CUDA_SAFE_CALL( cudaMemcpy( h_odata, d_odata, sizeof( float) * num_threads, cudaMemcpyDeviceToHost) );
//将显存中的数据拷贝回内存

CUT_SAFE_CALL( cutStopTimer( timer)); //结束计时
printf( “Processing time: %f (ms)\n”, cutGetTimerValue( timer));//显示时间
CUT_SAFE_CALL( cutDeleteTimer( timer));//删除timer

// compute reference solution
float* reference = (float*) malloc( mem_size);//在内存上分配空间，用于计算cpu结果
computeGold( reference, h_idata, num_threads);//computeGold函数在computeGold.c中，是一个与GPU计算功能相同的对照程序

// check result
if( cutCheckCmdLineFlag( argc, (const char**) argv, “regression”))
//判断gpu程序接收到的消息中是否设定需要纪录显卡计算结果，否则比较cpu与gpu计算结果
{
// write file for regression test
CUT_SAFE_CALL( cutWriteFilef( “./data/regression.dat”, h_odata, num_threads, 0.0));
}
else
{
// custom output handling when no regression test running
// in this case check if the result is equivalent to the expected soluion
CUTBoolean res = cutComparef( reference, h_odata, num_threads);
printf( “Test %s\n”, (1 == res) ? “PASSED” : “FAILED”);
}

// cleanup memory
free( h_idata);//释放程序使用的内存空间，否则会造成内存溢出
free( h_odata);
free( reference);
CUDA_SAFE_CALL(cudaFree(d_idata));//释放使用的显存空间，否则会造成显存溢出，多次运行后显卡无法工作
CUDA_SAFE_CALL(cudaFree(d_odata));
}

/*  Template_Kernel.c 用于演示如何生成cuda工程的样本程序
* 设备端，也就是gpu code */

#ifndef _TEMPLATE_KERNEL_H_
#define _TEMPLATE_KERNEL_H_

#include <stdio.h> //在emu模式下可以有stdio以便输出一些中间结果来观察，由gpu运行时是不能使用其中的函数的
#define SDATA( index) CUT_BANK_CHECKER(sdata, index)

//主要是在emu模式下检查bank访问,如果程序最终从gpu运行，这一句不是必要的，此时程序中的SDATA()应该替换成s_data[]的形式

////////////////////////////////////////////////////////////////////////////////
//! Simple test kernel for device functionality
//! @param g_idata input data in global memory
//! @param g_odata output data in global memory
////////////////////////////////////////////////////////////////////////////////

__global__ void testKernel( float* g_idata, float* g_odata)
/*对应host代码中的testKernel<<< grid, threads, mem_size >>>( d_idata, d_odata)，注意到同样的指针在host端中前缀是d，而在kernel函数中，相同的指针前缀却变成了g，这是由于观察角度不同造成的。在host端中，程序编写者是从cpu的角度思考，因此显卡只是一个协处理设备；而编写kernel程序时，我们要养成从gpu的角度思考的习惯，因此显卡上的显存也就被看成了global memory*/
{
// shared memory
// the size is determined by the host application
extern __shared__ float sdata[];
/*定义每个block中使用的shared_mem的大小，此处extern表示shared memory的大小由外部定义，也就是在host端代码调用kernel函数<<<>>>中的第三个参数mem_size*/

// access thread id
const unsigned int tid = threadIdx.x;
//定义常数 tid，储存在GPU端寄存器中，threadIdx.x是每个线程在block中的x轴编号，即（0，1，2.. blockDim.x-1）
// access number of threads in this block

const unsigned int num_threads = blockDim.x;
//定义常数， blockDim.x就是dim3 threads( num_threads, 1, 1)的第一个参数，即32

// read in input data from global memory
// use the bank checker macro to check for bank conflicts during host
// emulation
SDATA(tid) = g_idata[tid]; //从global memory（显存）拷贝到shared memory
__syncthreads(); //输入数据后同步一次，保证计算时所有数据均已到位

// perform some computations
SDATA(tid) = (float) num_threads * SDATA( tid); //实际上就是一个32*i
__syncthreads(); //输入数据后同步一次，保证输出前所有数据已经计算完成

// write data to global memory
g_odata[tid] = SDATA(tid);//将shared中计算完的数据写入g_data中
}

#endif // #ifndef _TEMPLATE_KERNEL_H_

我这里介绍的常用的IDE包括Windows平台下的Visual Studio (VS)系列和Mac OS X平台下的Xcode. 至于Linux平台的开发,印象中的linux guy都是用make,gcc和gdb来进行项目管理和程序开发调试,我想应该很少linux guy会用IDE吧? 并且CUDA安装程序已经包含了相应的环境设置以及makefile文件的设置,只要依葫芦画瓢,很容易生成自己项目的makefile文件,这里我就不再赘述了.

回到正题,如何对CUDA在VS和Xcode下的IDE设置呢? 最快捷的方式就是利用相应的CUDA插件来进行配置.这里不得不提两个比较好的插件,一个是Windows平台下的VS插件CUDA VS Wizard, 下载地址 here; 另一个是Mac平台下的Xcode插件NVCuda Plug-in, 下载地址 here.

由于我对Xcode的开发环境不是很熟悉,因此NVCuda这个插件我总是安装不成功,或者根本就不work. 用这个插件之后,Xcode仍然报什么”no rule to process file test.cu … for architecture i386″的错误.但google一下,好像有人可以成功的利用这个插件在Xcode下编译成功,但没有给出细节,:(. 如果有人知道如何解决这个问题的话,麻烦告诉我一声.  (后记：问题已解决，参见《Mac OS X Leopard Xcode环境下的NVIDIA CUDA设置》一文.）

相对Xcode而言,在Windows平台下就显得容易很多了,CUDA VS Wizard插件安装很方便,安装完后,其使用就和VS其他project template一样简单易用. 详细的视频教程可以参看CUDA VS Wizard作者制作的视频, CUDA_easy_start_up.wmv.

但有个问题就是 CUDA VS Wizard 这个插件没有实现 CUDA 源文件 .cu 的语法高亮设置,解决的方法可以利用 CUDA SDK 自带的usertype.dat 文件来设置 VS 的语法高亮,方法如下:

1. 首先安装NVIDIA最新的显卡驱动,以及 CUDA Toolkit 和 CUDA SDK. 下载地址 here.
2. 然后拷贝%NVIDIA CUDA SDK%\doc\syntax_highlighting\visual_studio_8目录下的usertype.dat文件到%Program Files%\Microsoft Visual Studio 8\Common7\IDE目录下.
3. 在Visual Studio下打开Tools -> Options
4. 在Text Editor -> File Extension tab下,指定新的扩展名extension “.cu”, 关联到Microsoft Visual C++.
5. 重启Visual Studio.
6. Enjoy it!

在学习的过程中,该并行架构的编程原理给我的感觉还算好理解, 主要的流程就是:

1. Host (aka. CPU) 进行初始化程序及Host上的内存数据
2. Host 将其内存区上的数据拷贝到Device (aka. GPU)的内存区
3. 执行Device上的代码 (aka. Kernal函数)进行并行计算
4. Device上的计算结束后,再将Device的内存区的数据拷贝回Host的内存区
5. Host再进行后续代码工作

因此Host与Device之间的数据传输将是一个关键点,因为这是一个相对比较耗时的操作,直接影响整个程序的性能. 如果数据传输加Device上并行执行的时间开销要大于原本只需在Host上串行执行的时间开销的话,那这个并行架构就没有任何意义了.

对于视频编解码程序而言,这个数据传输的问题相对而言并不是一个很大的问题.

对于编码器而言,由于编码的复杂度相对比较高,大部分时间都集中编码过程,因此数据传输的开销相对比例很小,而且利用CUDA的page-locked memory来实现异步并行传输方式或DMA传输方式.

对于解码器而言,由于解码器相对简单,数据传输的开销比例可能会因此变得相对较大. 幸运的是,多数解码器的直接输出为屏幕显示,即解码器的本身就需要将解码后的图像数据拷贝到显卡(Device or GPU)的内存区,因此利用CUDA编程时,从Device的内存区回拷到Host的内存区这一步骤可以省去,因此相应的数据传输的开销可以说并没有增加.

综上所述, CUDA通用并行计算架构是很适合视频编解码技术的并行算法的实现.

1. Download MinGW from here.
2. Download MSYS from here.
3. Download updated bash for MSYS from here.
4. Download updated w32api-3.13-mingw32-dev.tar for MinGW from here.(here is a direct link).
5. Get the latest snapshot of ffmpeg from here (here’s a direct link).
6. Get the latest snapshot of x264 from here.
7. Download updated yasm for compiling x264 from here.

Let’s install the tools.

1. Install MinGW (choose “MinGW base tools” and “MinGW make”) into c:\mingw
2. Install MSYS into c:\msys\1.0
3. After MSYS installation it will run a postinstall script. It will ask you some questions which you should answer as following:
   Do you wish to continue with the post install? [yn ] -> y
   Do you have MinGW installed? [yn ] -> y
   Where is your MinGW installation? -> C:/mingw
4. Copy bash-2.05b-MSYS.tar.bz2 to c:\msys\1.0 and extract it (bash.exe should go into C:\MSYS\1.0\bin).
   We need to do this because ffmpeg’s configure script doesn’t work with bash 2.0.4 that comes with MSYS.
5. Extract the w32api-3.13-mingw32-dev.tar to c:\minGW.
6. Rename yasm-0.7.2-win32.exe to yasm.exe, and copy yasm.exe to c:\sysm\1.0\bin for compiling x264.
7. Extract the ffmpeg and x264 sources. I’ll assume you’ve extracted them to c:\work\ffmpeg and c:\work\x264.

Now it’s time to build the library.

1. launch the MSYS, then, in c:\work\x264, perform the following command:
   ./configure –prefix=/static –enable-shared

2. run the following commands: make, make install.
   there will exist x264.h in static/include,  and libx264.a in static/lib
3. in c:workffmpeg and perform the following command:
   ./configure –enable-memalign-hack –enable-shared –disable-static –enable-gpl  –enable-libx264  –enable-avisynth –extra-cflags=-I/static/include –extra-ldflags=-L/static/lib
4. make
5. In order to run ffmpeg.exe, collect the binary files and put them together in one folder:
   ffmpeg\ffmpeg.exe
   ffmpeg\libavcodec\avcodec-51.dll
   ffmpeg\libavformat\avformat-51.dll
   ffmpeg\libavutil\avutil-49.dll
   ffmpeg\libavdevice\avdevice-52.dll