基于wince的網(wǎng)絡(luò)音視頻通信

2017-11-19 14:53:58

來源：網(wǎng)絡(luò)

點(diǎn)擊：1857

A⁺ A^-

所屬頻道：新聞中心

關(guān)鍵詞： wince,網(wǎng)絡(luò)音視頻通信

下位機(jī)為 mini2440 ，其操作系統(tǒng)是WINCE 5.0，需要在下位機(jī)上插入U(xiǎn)SB攝像頭（中星微301，驅(qū)動(dòng)為15分鐘限制版），以及插入麥克風(fēng)耳機(jī)；

　　上位機(jī)為普通的PC，需要插入麥克風(fēng)耳機(jī)；

　　上位機(jī)和下位機(jī)的開發(fā)環(huán)境為Visual Studio 2005。

　　接下來，說說這個(gè)東東的功能，和工作原理：

　　網(wǎng)絡(luò)視頻傳輸，首先把mini2440與USB攝像頭連接在一起，通過USB攝像頭捕捉圖像（320 x 240，15fps），然后通過UDP協(xié)議發(fā)送至PC端，在PC屏幕上以15fps的速度顯示。

　　網(wǎng)絡(luò)音頻傳輸，首先在mini2440和PC上都插入麥克風(fēng)耳機(jī)，兩者都同時(shí)錄音，并以G.726編碼，然后把壓縮包通過UDP協(xié)議發(fā)送至對(duì)方，而在錄音的同時(shí)，也對(duì)來自對(duì)方的壓縮包用G.726解碼，然后再在耳機(jī)播放音頻。

　　最后，說說這個(gè)版本相對(duì)于以前的改進(jìn)：

　　把以前的RTP改為UDP，實(shí)踐證明，在這個(gè)系統(tǒng)中，用UDP的效率會(huì)比RTP好，畢竟不需要用到RTP的流量監(jiān)測(cè)等高級(jí)功能，僅僅能通信就行了；

　　以前版本基于100M網(wǎng)卡，現(xiàn)在支持10M網(wǎng)卡了，在100M網(wǎng)卡的機(jī)器上，可以直接把JPEG圖片發(fā)過去，但是，在10M的網(wǎng)卡是，每次數(shù)據(jù)包最大為1440比特，因此要兼容10M網(wǎng)卡，就需要把圖像分割成多個(gè)1440大小的數(shù)據(jù)包，分別發(fā)送了。

　　源代碼可以到這里下載（2008.12.01才可以下載）：

　　http://download.csdn.net/user/hellogv

　　網(wǎng)絡(luò)音視頻通信

　　下面說說關(guān)鍵的源代碼：

　　以下是WINCE部分的代碼

　　#pragma once

　　#include “winsock2.h”

　　//RTP支持

　　#include “。.\UDP\UDP.h”

　　//音頻支持

　　#include “WaveIn.h”

　　#include “WaveOut.h”

　　//G726支持

　　#include “g726.h”

　　//攝像頭支持

　　#include “。\video\\zc030xlib.h”

　　#define Video_Width 320 //視頻寬度

　　#define Video_Height 240 //視頻長度

　　#define AudioData_Size 960 //每塊音頻數(shù)據(jù)包的大小

　　#define Compr_AudioData_Size 120 //壓縮后音頻塊的大小

　　//音頻輸入輸出變量

　　CWaveIn *g_pIn;

　　CWaveOut *g_pOut;

　　char pin［AudioData_Size］，pout［Compr_AudioData_Size］;

　　char waveout［AudioData_Size］;

　　//攝像頭輸入變量

　　DWORD dwSize;

　　DWORD dwJpg;

　　DWORD dwRtnSize［2］;/* 0 - for bmp， 1 - for jpeg */

　　LPBYTE lpFrameBuffer;

　　LPBYTE lpJpgBuffer ;

　　//控制變量

　　bool isCameraEnabled;

　　//UDP

　　CUDP_CE m_CEUdp;

　　class AVClass

　　{

　　public：

　　//=====================================================================

　　// 語法格式： void InitAV（CWnd * p）

　　// 實(shí)現(xiàn)功能：初始化音頻和視頻，用于錄音、播放音頻，以及播放視頻

　　// 參數(shù)： p為窗口類指針

　　// 返回值：無

　　//=====================================================================

　　void InitAV（CWnd * p，int local_port，CString remote_ip，int remote_port）

　　{

　　//-----------------------初始化UDP-----------------------//

　　m_CEUdp.m_OnUdpRecv = OnUdpCERecv;

　　DWORD nResult = m_CEUdp.Open（p，local_port，remote_ip，remote_port）;

　　if （nResult 《=0）

　　{

　　AfxMessageBox（_T（“打開端口失敗”））;

　　return;

　　}

　　//------------------------控制變量-----------------------//

　　isCameraEnabled=false;

　　//-------------------------視頻--------------------------//

　　int i = capInitCamera（）;

　　dwSize = 320 * 240 * 3;

　　dwJpg = 40960;

　　lpFrameBuffer = （LPBYTE） malloc （dwSize）;

　　lpJpgBuffer = （LPBYTE） malloc （dwJpg）;

　　if（i《=0）

　　{

　　//：：MessageBox（NULL， L“Init camera error ”， L“Notice”， 0）;

　　goto video_error;//出錯(cuò)，釋放空間

　　}

　　if （0 ！= capSetVideoFormat（0， VIDEO_PALETTE_RGB24， VIDEO_SIZE_SIF））

　　{

　　//：：MessageBox（NULL， L“SetVideoFormat error ”， L“Notice”， 0）;

　　goto video_error;//出錯(cuò)，釋放空間

　　}

　　if （capStartCamera（0）！= 0）

　　{

　　//：：MessageBox（NULL， L“StartCamera error ”， L“Notice”， 0）;

　　capStopCamera（0）;

　　goto video_error;//出錯(cuò)，釋放空間

　　}

　　//沒出錯(cuò)，進(jìn)行視頻（控制狀態(tài)）、音頻設(shè)置

　　isCameraEnabled=true;

　　goto audio;

　　video_error：

　　free （lpFrameBuffer）;

　　lpFrameBuffer = NULL;

　　free （lpJpgBuffer）;

　　lpJpgBuffer = NULL;

　　//-------------------------音頻--------------------------//

　　audio：

　　g_pOut = new CWaveOut（）;

　　g_pIn = new CWaveIn（）;

　　g_pOut-》StartPlay（）;

　　g_pIn-》StartRec（OnRecCapAndSend，（DWORD）p）;

　　}

　　//=====================================================================

　　// 語法格式： void FreeAV（）

　　// 實(shí)現(xiàn)功能：釋放音頻、視頻

　　// 參數(shù)：無

　　// 返回值：無

　　//=====================================================================

　　void FreeAV（）

　　{

　　//-------------------------視頻--------------------------//

　　if（isCameraEnabled）

　　capStopCamera（0）;

　　//-------------------------音頻--------------------------//

　　g_pOut-》StopPlay（）;

　　g_pIn-》StopRec（）;

　　delete g_pOut;

　　delete g_pIn;

　　//------------------------UDP------------------------//

　　m_CEUdp.Close（）;

　　}

　　//=====================================================================

　　// 語法格式： void RecAndPlay（WPARAM wParam，LPARAM lParam）

　　// 實(shí)現(xiàn)功能：接收網(wǎng)絡(luò)傳來的音頻，以及播放

　　// 參數(shù)： wParam，表示數(shù)據(jù)；lParam，表示數(shù)據(jù)長度

　　// 返回值：無

　　//=====================================================================

　　static void CALLBACK OnUdpCERecv（CWnd * pWnd，char* buf，int nLen，sockaddr * addr）

　　{

　　g726_Decode（buf，（unsigned char*）waveout）;

　　g_pOut-》Play（waveout，AudioData_Size）;

　　}

　　//=====================================================================

　　// 語法格式： static void OnRecCapAndSend（char *data，int length，DWORD userdata）

　　// 實(shí)現(xiàn)功能：錄音，攝像并且發(fā)送

　　// 參數(shù)： data表示數(shù)據(jù)，length表示數(shù)據(jù)長度，userdata暫時(shí)沒用

　　// 返回值：無

　　//=====================================f================================

　　static void OnRecCapAndSend（char *data，int length，DWORD userdata）

　　{

　　//-------------------------音頻--------------------------//

　　memcpy（pin，g_pIn-》buffer，AudioData_Size）;

　　g726_Encode（（unsigned char*）pin，pout）;

　　m_CEUdp.SendData（pout，Compr_AudioData_Size）;

　　//-------------------------視頻--------------------------//

　　if（isCameraEnabled==false）//如果程序不能用攝像頭

　　return;

　　Sleep（15）;

　　int index=0;

　　memset（lpFrameBuffer， 0， dwSize）;

　　memset（lpJpgBuffer， 0， dwJpg）;

　　dwRtnSize［0］ = dwRtnSize［1］ = 0;

　　if （capGetPicture（index， lpFrameBuffer， dwSize， lpJpgBuffer， dwJpg， dwRtnSize） == 0）

　　{

　　/// m_CEUdp.SendData（（const char *）lpJpgBuffer，dwRtnSize［1］）;

　　char tmp［1440］;

　　int tmp_i=0;

　　for（int i=0;i《dwRtnSize［1］;i++）

　　{

　　tmp［tmp_i］=lpJpgBuffer［i］;

　　tmp_i++;

　　if（tmp_i==1440）

　　{

　　m_CEUdp.SendData（tmp，1440）;

　　tmp_i=0;

　　}

　　else if（i==dwRtnSize［1］-1）

　　{

　　m_CEUdp.SendData（tmp，dwRtnSize［1］-（dwRtnSize［1］/1440）*1440）;

　　tmp_i=0;

　　}

　　};

　　以下是PC部分的關(guān)鍵代碼

　　#pragma once

　　#include “winsock2.h”

　　//UDP支持

　　#include “。.\UDP\UDP.h”

　　//音頻支持

　　#include “WaveIn.h”

　　#include “waveout.h”

　　//G726支持

　　#include “g726.h”

　　//視頻支持

　　#include “Gdiplus.h”

　　using namespace Gdiplus;

　　#define VideoData_Size 1440 //每塊視頻數(shù)據(jù)包的大小

　　#define Video_Width 320 //視頻寬度

　　#define Video_Height 240 //視頻長度

　　#define AudioData_Size 960 //每塊音頻數(shù)據(jù)包的大小

　　#define Compr_AudioData_Size 120 //壓縮后音頻塊的大小

　　//音頻輸入輸出變量

　　CWaveIn *g_pIn;

　　CWaveOut *g_pOut;

　　char pin［AudioData_Size］，pout［Compr_AudioData_Size］;

　　char wave_data［AudioData_Size］;

　　//UDP變量

　　CUDP_CE m_CEUdp;

　　//視頻輸入變量

　　GdiplusStartupInput m_gdiPlusInPut;

　　ULONG_PTR m_gdiPlusToken;

　　char video_data［Video_Width*Video_Height］;

　　int index;//視頻數(shù)據(jù)當(dāng)前索引

　　class AVClass

　　{

　　private：

　　public：

　　//=====================================================================

　　// 語法格式： void InitAV（CWnd * p）

　　// 實(shí)現(xiàn)功能：初始化音頻和視頻，用于錄音、播放音頻，以及播放視頻

　　// 參數(shù)： p為窗口類指針

　　// 返回值：無

　　//=====================================================================

　　void InitAV（CWnd * p，int local_port，CString remote_ip，int remote_port）

　　{

　　//-------------------------UDP連接--------------------------//

　　m_CEUdp.m_OnUdpRecv = OnUdpCERecv;

　　DWORD nResult = m_CEUdp.Open（p，local_port，remote_ip，remote_port）;

　　if （nResult 《=0）

　　{

　　AfxMessageBox（_T（“打開端口失敗”））;

　　return;

　　}

　　//-------------------------音頻--------------------------//

　　g_pOut = new CWaveOut（）;

　　g_pIn = new CWaveIn（）;

　　g_pOut-》StartPlay（）;

　　g_pIn-》StartRec（OnRecording，（DWORD）p）;

　　//-------------------------視頻--------------------------//

　　GdiplusStartup（ &m_gdiPlusToken， &m_gdiPlusInPut， NULL ）; //初始化GDI+

　　memset（video_data，0，Video_Width*Video_Height）;

　　index=0;

　　}

　　//=====================================================================

　　// 語法格式： void FreeAV（）

　　// 實(shí)現(xiàn)功能：釋放音頻、視頻

　　// 參數(shù)：無

　　// 返回值：無

　　//=====================================================================

　　void FreeAV（）

　　{

　　//-------------------------音頻--------------------------//

　　g_pOut-》StopPlay（）;

　　g_pIn-》StopRec（）;

　　delete g_pOut;

　　delete g_pIn;

　　//-------------------------視頻--------------------------//

　　GdiplusShutdown（m_gdiPlusToken）; //銷毀GDI+

　　//------------------------UDP--------------------------//

　　m_CEUdp.Close（）;

　　}

　　//=====================================================================

　　// 語法格式： void RecAndPlay（WPARAM wParam，LPARAM lParam，HWND hwnd）

　　// 實(shí)現(xiàn)功能：接收網(wǎng)絡(luò)傳來的音頻，以及播放

　　// 參數(shù)： wParam，表示數(shù)據(jù)；lParam，表示數(shù)據(jù)長度；hwnd，表示顯示視頻的窗口句柄

　　// 返回值：無

　　//=====================================================================

　　static void CALLBACK OnUdpCERecv（CWnd *pWnd，char* buf，int nLen，sockaddr * addr）

　　{

　　/*測(cè)試收到的數(shù)據(jù)大小

　　CString tmp;

　　tmp.Format（L“%d”，nLen）;

　　MessageBox（0，tmp，0，0）;

　　return;*/

　　//-------------------------如果是音頻數(shù)據(jù)--------------------------//

　　if（nLen==Compr_AudioData_Size）

　　{

　　g726_Decode（buf，（unsigned char*）wave_data）;

　　g_pOut-》Play（wave_data，AudioData_Size）;

　　return;

　　}

　　//-------------------------如果是視頻數(shù)據(jù)--------------------------//

　　if（nLen==VideoData_Size）//完整的視頻數(shù)據(jù)塊

　　{

　　for（int i=0;i《nLen;i++）

　　{

　　video_data［index］=buf［i］;

　　index++;

　　}

　　return;

　　}

　　//視頻數(shù)據(jù)塊的最后一塊

　　for（int i=0;i《nLen;i++）

　　{

　　video_data［index］=buf［i］;

　　index++;

　　}

　　//如果JPEG圖像特別大，則肯定是出錯(cuò)，則拋棄

　　if（index》Video_Width*Video_Height）

　　{

　　//MessageBox（0，“緩沖區(qū)出錯(cuò)”，“錯(cuò)誤信息”，0）;

　　return;

　　}

　　try{

　　IPicture *pPic;

　　IStream *pStm ;

　　//分配全局存儲(chǔ)空間

　　HGLOBAL hGlobal=GlobalAlloc（GMEM_MOVEABLE，index）;

　　LPVOID pvData=NULL ;

　　//鎖定分配內(nèi)存塊

　　pvData=GlobalLock（hGlobal）;

　　//復(fù)制數(shù)據(jù)包video_data到pvData

　　memcpy（pvData，video_data，index）;

　　GlobalUnlock（hGlobal）;

　　CreateStreamOnHGlobal（hGlobal，TRUE，&pStm）;

　　ULARGE_INTEGER pSeek;

　　LARGE_INTEGER dlibMove ={ 0 } ;

　　pStm-》Seek（dlibMove，STREAM_SEEK_SET ，&pSeek）;

　　// Sleep（15）;

　　//裝入圖形文件

　　if（FAILED（OleLoadPicture（pStm，index，TRUE，IID_IPicture，（LPVOID*）&pPic）））

　　{//附：如果video_data這個(gè)數(shù)組包含的圖像有錯(cuò)，則OleLoadPicture 容易產(chǎn)生讀寫內(nèi)存錯(cuò)誤

　　// pPic-》Release（）;

　　// pStm-》Release（）;

　　return ;

　　}

　　Image img（pStm，0）;

　　Graphics mGraphics（GetDC（pWnd-》m_hWnd））;

　　mGraphics.DrawImage（&img， 0， 0， Video_Width， Video_Height）;

　　img.~Image（）;//會(huì)出錯(cuò)

　　mGraphics.~Graphics（）;

　　pPic-》Release（）;

　　pStm-》Release（）;

　　}

　　catch（CException * e）

　　{}

　　memset（video_data，0，Video_Width*Video_Height）;

　　index=0;

　　}

　　//=====================================================================

　　// 語法格式： static void OnRecording（char *data，int length，DWORD userdata）

　　// 實(shí)現(xiàn)功能：釋放音頻

　　// 參數(shù)： data表示數(shù)據(jù)，length表示數(shù)據(jù)長度，userdata暫時(shí)沒用

　　// 返回值：無

　　//=====================================================================

　　static void OnRecording（char *data，int length，DWORD userdata）

　　{

　　memcpy（pin，g_pIn-》buffer，AudioData_Size）;

　　g726_Encode（（unsigned char*）pin，pout）;

　　m_CEUdp.SendData（pout，Compr_AudioData_Size）;

　　}

　　};

(審核編輯: 智匯小新)

聲明：除特別說明之外，新聞內(nèi)容及圖片均來自網(wǎng)絡(luò)及各大主流媒體。版權(quán)歸原作者所有。如認(rèn)為內(nèi)容侵權(quán)，請(qǐng)聯(lián)系我們刪除。

分享

智汇工业－智慧工业、智能制造及工业智能、工业互联门户网站，专业的工业“互联网＋”传媒

基于wince的網(wǎng)絡(luò)音視頻通信

點(diǎn)擊排行

專題