- 浏览: 1504673 次
- 性别:
- 来自: 厦门
文章分类
- 全部博客 (516)
- Java (49)
- Java/Struts 2.0 (25)
- Java/Spring、Spring MVC (11)
- Java/Quartz (3)
- Java/Lucene (6)
- Java/Hibernate (19)
- Java/openJPA (7)
- Java/DWR (7)
- Java/Security、Spring Security/OAuth2 (6)
- Java/Threading (9)
- Java/XML (22)
- java/design pattern (4)
- Android (2)
- JavaScript (46)
- jquery (3)
- DB/MySQL (23)
- DB/Oracle (16)
- PHP (25)
- CSS (20)
- Linux (38)
- C/C++、DLL、Makefile、VC++ (31)
- 正则 (9)
- Eclipse (4)
- 安全、网络等概念 (25)
- 集群 (7)
- 网页 (5)
- 视频\音频 (1)
- HTML (6)
- 计算机数学/算法 (3)
- Virtualbox (1)
- LDAP (2)
- 数据挖掘 (6)
- 工具破解 (1)
- 其他 (13)
- Mail (1)
- 药材 (3)
- 游戏 (2)
- hadoop (13)
- 压力测试 (3)
- 设计模式 (3)
- java/Swing (2)
- 缓存/Memcache (0)
- 缓存/Redis (1)
- OSGI (2)
- OSGI/Gemini (0)
- 文档写作 (0)
- java/Servlet (3)
- MQ/RabbitMQ (2)
- MQ/RocketMQ (0)
- MQ/Kafka (1)
- maven (0)
- SYS/linux (1)
- cache/redis (1)
- DB/Mongodb (2)
- nginx (1)
- postman (1)
- 操作系统/ubuntu (1)
- golang (1)
- dubbo (1)
- 技术管理岗位 (0)
- mybatis-plus (0)
最新评论
-
pgx89112:
大神,请赐我一份这个示例的项目代码吧,万分感谢,1530259 ...
spring的rabbitmq配置 -
string2020:
不使用增强器 怎么弄?
OpenJPA的增强器 -
孟江波:
学习了,楼主,能否提供一份源代码啊,学习一下,十分感谢!!!4 ...
spring的rabbitmq配置 -
eachgray:
...
spring-data-redis配置事务 -
qljoeli:
学习了,楼主,能否提供一份源代码啊,学习一下,十分感谢!!!1 ...
spring的rabbitmq配置
<? // 连接数据库的配置 $config = array( 'url' => LOCAL_DB_HOST.':3306', 'user' => LOCAL_DB_USER, 'password' => LOCAL_DB_PWD, 'db' => LOCAL_DB_NAME, ); $is_debug = true; // 命令行参数一为日志的开关 $log = new CommonLog(array('log_level' => $_SERVER["argv"][1],)); // 连接数据库实例 $db = new DBConfig($config); $today = date('Ymd'); $type_list = array( // 'game' => "http://top.baidu.com/buzz/game.html", 'webgame' => "http://top.baidu.com/buzz/mmogame.html", 'rpg' => "http://top.baidu.com/buzz/magic_rpg.html", ); foreach ($type_list as $type => $url) { // 采集游戏排行榜 $max_date = null; $max_date = $db->query_single("select max(data_date) from web_baidu_gametop50 where type = '$type'"); if (! $max_date || $max_date < $today) { $log->debug("start at page: " . $url); // 读取网页内容,在读取失败时,可连续尝试9次。 $cn = 0; while ($cn < 9 && ($page = @file_get_contents($url)) === FALSE) $cn++; // 编码转换,phpquery无法再gb2312的情况下处理特殊字符 $page = preg_replace('/gb2312/i', 'utf-8', $page); // 转换编码, 并解析 $doc = phpQuery::newDocumentHTML( mb_convert_encoding($page, 'utf-8', 'gb2312') ); // 解析文档 foreach ($doc->find("div.list > table > tbody > tr")->not(".th") as $tr) { $tr = pq($tr); $data = array(); $data['index_id'] = $tr->find('> th:nth-child(1)')->text(); $data['key_name'] = $tr->find('> td:nth-child(2)')->text(); // 今日搜索 $data['search_num'] = $tr->find('> td:nth-child(5)')->text(); // 最近七日 $data['count_num'] = $tr->find('> td:nth-child(6)')->text(); // $data['online_day'] = $tr->find('> td:nth-child(5)')->text(); // $data['avg_num'] = $tr->find('> td:nth-child(6)')->text(); $data['online_day'] = 0; $data['avg_num'] = 0; $data['data_date'] = $today; $data['type'] = $type; $db->insert_array("web_baidu_gametop50", $data); } } else { $log->debug("page: (" . $url . ")has gathered before"); } } ?>
dd
发表评论
-
mysql_query()防止掉链的数据库查询
2011-03-24 14:00 1699// ---------------------------- ... -
Windows下的Memcache安装
2011-03-22 10:06 2085转自:http://www.ccvita.com/258.ht ... -
PHP 解决采集乱码问题mb_convert_encoding和iconv使用比较
2011-02-11 13:27 2976转自:http://hi.baidu.com/ ... -
eclipse xdebug 配置手册
2010-10-22 14:12 1222XDebug Support In PDT 1.0 :htt ... -
file_get_contents的超时处理
2010-08-17 14:57 2116转自:http://www.neatstudio.com/sh ... -
在php 5.2版本之前使用的json_encode和json_decode函数
2010-08-13 09:33 1788http://mike.teczno.com/JSON/JSO ... -
月份处理函数
2010-08-11 22:00 978function period_diff($in_dateLo ... -
配置xdebug
2010-08-10 09:19 941zend_extension = "D:/xampp ... -
判断在linux以命令行执行的文件是否还在执行
2010-06-03 10:37 2108// 取得当前程序进程,用来判断是否可以执行 $gather ... -
PHP分页
2010-05-05 07:15 1100<?php header("content- ... -
JavaBridge
2010-02-10 16:11 841中文翻译及使用手册 http://programfan.co ... -
How to implement COMET with PHP
2009-12-07 13:17 2996http://www.zeitoun.net/articles ... -
PHP 压缩网站上的文件,并返回下载
2009-08-27 20:51 2676<?php $zipFileName = " ... -
递归删除目录及目录中的文件
2009-08-27 20:24 1204<?php /** * 递归删除目录及目录中的文件 ... -
PHP验证码程序:session生成图片
2009-08-07 15:39 3856昨天捣鼓了一下PHP验证码并生成图片程序,采用了sessi ... -
Apache的rewrite规则详细介绍
2009-06-01 22:52 1332rewrite标志 R [=code](for ... -
php mail 支持UTF-8,附件
2009-03-06 14:19 2863<?php class mime_mail { var ... -
php 多语言切换
2009-02-27 09:55 10137目录结构: //================= ... -
包含其他目录的文件
2009-02-02 16:57 966<?php include_once dirname(_ ... -
时区表 Territory Containment
2008-11-11 11:44 1092时区表 http://unicode.org/cldr/dat ...
相关推荐
使用cefsharp来制作采集数据软件(爬虫)的思路及步骤。
用咪头采集数据进过放大后通过ad采集输入到stm32,再从stm32da输出到由lm358构成的放大电路后驱动喇叭播放声音
信息安全技术 网联汽车 采集数据的安全要求
这是个人做的一个实用小项目,主要用于与下位机设备通信,将下位机采集的数据实时显示并记录,界面设计参考Windows任务管理器 这是个人做的一个实用小项目,主要用于与下位机设备通信,将下位机采集的数据实时显示...
定时采集数据进SD卡和定时读取SD卡的数据示例程序(基于FATFS和STM32F407ADC)
多动态采集数据,labview,能够对PLC进行多组数据的采集
采集数据和信息,并对数据进行分析,采用C/C++架构
4通道4-20mA模拟量采集板通过RS485总线发送采集数据给PC机
STM32 16路ADC采集数据利用SD卡文件系统存到SD卡中,里边有注释适合初学者。我网上下载的,感觉非常好就拿来分享一下。
Wonderware2014 R2 SP1 运行过程中,SMC突然死机不能采集数据,且不能重启驱动程序,针对这个问题提供了两种解决方案,希望有帮助。 待续
C# 数据采集系统 智能采集 数据分析 整套源码
亲自设计 我用拉力计、电子秤都试过 运行正常 labview串口采集数据 曲线显示 实时最大最小平均值
数据采集 数据采集 数据采集
第三章:C语言AD连续采集数据实验配套资料
stm32数据采集数据采集数据采集数据采集数据采集数据采集数据采集数据采集
hmjcj采集器,采集数据 hmjcj采集器,采集数据
硬件驱动数据采集数据处理数据存储.pdf
有时因为数据处理需求,DMA速度传送太快,易丢失数据,采用TIM定时器触发AD进行转换,能有效精确地采集所要的数据段。