基于AJAX与正则表达式的优酷专辑视频采集方案

基于AJAX与正则表达式的优酷专辑视频采集方案

鉴于VB.NET在.NET环境下执行数据采集时，网络连接建立与正则匹配带来的性能开销较大，且最终应用场景聚焦于视频数据的抓取提交，因此决定采用JavaScript的AJAX技术配合正则表达式来实现这一目标。

由于此前未对JavaScript和正则表达式进行系统性学习，实际开发耗时超出预期，经过一整夜的调试与尝试，完成了以下示例代码。

 
<!-- 
夜闻香原创，转载请保留此信息，万分感谢！
博客: http://clso.cnblogs.com
主页: http://cleclso.cn
QQ:315514678 E-mail:clso#qq.com
欢迎技术交流！
--> 
<html>
<head>
<title>JavaScipt AJAX & 正则表达式 test</title>
<script type="text/javascript" language="javascript">
function wrt(s){
subret.value = s + "\n" + subret.value;
//subret.value += "\n" + s;
} 
var objRequest; //定义一个XML请求对象
var previd = "",nowid =0,listid = "",iscancel=false; //其他变量
function getlid(){
var listid = weburl.value.match(/playlist_show\/.*(?=id_(\d+)).*\.html$/i);
if(!listid){
return null;
} else {
return listid[1];
} 
} 
function retweb(){
if(objRequest.readyState == 4 && objRequest.status == 200){
// 获得回调
var webstr = objRequest.responseText;
vid = webstr.match(/var\s+videoId\s*=\s*"(\d+)"\s*;/)[1];
vtitle = webstr.match(/<title>(.+) - (.+) - 视频 - 优酷视频 - 在线观看( - )?<\/title>/)[2];
wrt(nowid + ":" + vtitle + "=" + vid);
if(previd == vid) return;
previd = vid;
nowid += 1;
// 开始新循环
if(iscancel) return;
tstart();
} else {
//alert("回调失败！");
return;//"error: " + objRequest.statusText;
} 
} 
function getweb(u){
objRequest = new XMLHttpRequest(); //new ActiveXObject("Msxml2.XMLHTTP"); //IE5&6初始化XMLHTTP对象
objRequest.onreadystatechange = retweb; //异步回调方法
objRequest.open("GET",u,true);
objRequest.send(null);
} 
function tstart(){
if(listid==""){
listid=getlid();
} 
url = "http://v.youku.com/v_playlist/f" + listid + "o1p" + nowid + ".html";
getweb(url);
} 
</script>
</head>
<body>
<input type="text" id="weburl" value="http://www.youku.com/playlist_show/id_2350764.html" style="width:640" /><br />
<textarea id="subret" readonly="readonly" style="width:640; height:360;">#star</textarea>
<br/>
<input type=button value="开始提取专辑" onclick="if(iscancel)iscancel=false;tstart();" />
<input type=button value="清除文本" onclick="subret.value='';nowid =0;preid='';listid='';" />
<input type=button value="暂停" onclick="iscancel=true;" />
</body>
</html>

整体思路与之前的方案基本一致，此处不再赘述。

使用VB.NET进行单页面采集的时间通常在一秒左右，而本代码依托客户端脚本执行，每个页面的采集耗时约为0.3至0.5秒，具体速度取决于用户终端的电脑配置。

该代码已在IE7环境下测试通过，但由于编写较为随意，浏览器兼容性可能不佳。如需在实际项目中使用，请根据需求自行调整代码。

夜闻香原创，转载请保留此信息

博客: http://clso.cnblogs.com/

主页: http://www.cleclso.cn/