开发系统最自然辅助:用treedata无限分级类来做-含采集实例 [ 新手入门 ]
在自己开发很多功能的时候,发现最自然的开发思路都包含了无限分级分类的特点,因此决定利用yii和mysql搭建的基本框架,自己编写了个无限分级的类TreeData,并利用了ajax组件来展示:[attach]849[/attach] 我的treedata类包含了很多的信息,在开发的时候使用非常方便:id序号,pid父元序号(为0代表没有父节点),preid前一个同辈元的序号(0代表是此级别里第一个),nextid后一个同辈元的序号(0代表最后一个)seqid代表在同辈项中的序号,name英文名(也可做其他名用),alias本地名(本地语言名) 此类另外有单独的对应保存数据的类treedatacontent用于专门保存大文本数据,如果没有数据可以不占用存储空间; TreeData类实现了很多基本且常用的功能:大家看截图可以明白很多;还有很多针对特定情形的功能,也做到了treedata中来控制:在根节点下的“操作项目”中根据对应的treedata的alias名,即可动态显示对应的多个功能,如:初始链接 就会有"采集源代码"的功能,标签组 就会有"合并多个标签规则为一体"“添加一个新标签”等功能 对于我现在开发的采集功能,或者其他的具体功能,都可以分类清晰,可以用基本的复制功能保存到另一分支,不断的测试,使用非常方便; 由于非常符合我们最自然的分类分级思维方式,我准备用这个来开发很多功能后按固定模式分离出单独的源代码系统,通过这个系统,我现在做起来比原先快很多; 我会在 本帖不定时上传具体的进展 如果有想和本人合作的公司,请QQ 1219499683 或者邮箱 本人另外会数据挖掘入门的应用,用Clementine发现,股票在星期五下跌的比例远高于其他日子;另外自己编制的指标公式,准确的挖出了康美药业在2008年的底部点; 会搭建vpn,现在自己的个人论坛 www.njmj.biz 在国外一个linux centos5.5 vps上,全部自己搭建; 能采集各大网站数据,并用于数据挖掘分析; 从事了几年电子商务,对未来电子商务的发展趋势非常敏感,有很多项目和思路可供合作;
共 6 条回复
-
下面用图示来说明我的采集系统的------
现在这个开发系统非常好的一点就是我想的什么分类结构,很自然简单的就是可以真实实现的结构[attach]850[/attach]
我在想这个系统需要什么结构的时候,我就先在 采集 这一项目下 我建立一个子项: 结构
然后,我在 结构下来考虑采集的基本元素:站点
那么我就在结构下建立一个子项 站点
如果做过采集的人都知道,很可能不同的任务有不同的初始链接,那么很自然的就有子项 初始链接,
一般同一个站点的初始链接的页面编码都一样,如淘宝都是gbk,其他的很多都是utf-8
不同的页面编码采集到的数据都要统一转换为对应数据的数据编码,否则会乱码
那么就再增加一个页面编码的子项如果需要增加什么功能,我可以再增加
增加完了,我想实际应用到淘宝采集中,那么我就建立一个专门放各个站点采集的项:实例 下
(通过复制结构的功能,然后更改名称即可) -
-
-
-
-
sys2009 neijiang
最后登录:2014-01-26
在线时长:0小时10分
- 粉丝0
- 金钱120
- 威望0
- 积分120