http://d.hatena.ne.jp/t_s_s_i/20070814/1187098825 に簡潔にまとめてありました。要は、H.264のデコーダのみでは不足で、 mp4ファイル（コンテナ？）を解釈するスプリッタが必要だと言うところでつまづいていました。