网站数据论文范文

网站数据论文范文（精选12篇）

网站数据论文 第1篇

关键词：用户数据,电子商务企业,互联网,企业形象

人们对海量数据的挖掘和运用, 预示着新一波生产率提高和消费者盈余浪潮的到来。大数据具有真实度高等特征, 因此, 如何保护、正确运用大数据成为我们需要思考的问题。近年来, 一些大型公共性质网站的数据泄露令人触目惊心, 引发了用户对一些网站的信任危机, 对网站的运营造成了极大的影响。

1事件回顾

2014-12-25, 中新网报道称, 第三方漏洞报告平台乌云曝出, 12306网站上大量用户数据在互联网遭疯传。有消息称, 此次遭泄露的账户数量在14万左右。消息一出, 立即触动了媒体和广大网络用户的神经。媒体针对用户资料泄露的情况进行了深入报道, 进一步扩大了事件的影响力。在舆论压力下, 铁路客户服务中心称其数据由非明文转码而来, 泄露并非由官网流出, 而是经由其他网站或渠道。最终, 铁路公安机关抓获了嫌疑人, 并证实黑客采用撞库攻击的方式获取了用户数据。然而, 此事件对12306网站的影响却远未平息。此前, 12306网站已多次被曝存在漏洞——2014-01, 12306订票网站可利用假护照、假身份证订票, 且可挑选上、下铺;2015-07-15, 乌云曝出12306网站的购票软件存在漏洞, 一人可购买整个车厢的票。

2用户数据泄露对电商企业的危害

与一般的制造业和服务业不同, 电子商务企业依托互联网从事商业贸易, 其数据来源十分广泛, 收集、整理、分析和运用数据是电子商务企业的特点。随着时间的推移, 电子商务企业占有的数据在以海量的速度增长。正确运用数据, 可助企业的发展一臂之力。然而, 在运用过程中, 用户数据泄露会对企业的品牌形象造成冲击, 给企业的发展造成阻碍。具体而言, 用户数据泄露将会对企业造成以下影响。

2.1直接影响企业的正常运营

数据, 尤其是用户资料, 是一个企业的核心竞争资源。占有的用户资料数据越多、越翔实, 企业的营销和推广就越有针对性。然而, 对于企业而言, 自身用户资料的泄露会为竞争对手带来可乘之机。数据保护企业Safe Net 2014年三季度外泄水平指数报告显示, 在线服务企业是受数据泄露影响最严重的三个行业之一。2014年第三季度, 在线服务企业的36项、415项、 080项数据被盗, 占总量的20%, 发生数据外泄事件38起, 占总量的11%.由于12306是指定的火车票购票网站, 具有垄断特性, 因此, 用户数据泄露并不会对其正常营运造成很大的冲击。 但对于竞争非常激烈的电子商务企业而言, 这种冲击是致命的。

2.2给企业造成舆论压力

用户数据的安全直接关系着用户交易行为的安全, 也影响着客户对电子商务企业的信任度。因此, 保护用户数据就是在保护企业未来发展的根基。12306网站用户数据泄露后, 国内的主要媒体均对其进行了跟进报道。面对扑面而来的舆论压力, 12306网站疲于应对。尽管12306网站采取了有奖征集网站漏洞等措施, 但未完全打消用户对该网站数据安全的疑虑, 部分网络用户以留言等形式在网络上表达着其对12306网站泄露用户数据的不满。对于一般的电子商务企业而言, 长期的舆论压力是难以招架的, 一旦危机公关的工作不到位, 则可能引发网络用户对电子商务企业的信任危机, 直接影响企业的发展。

2.3影响企业的品牌形象

企业的品牌形象是无形资产, 对企业未来的发展起着重要的作用。用户的使用体验、口碑、忠诚度等都是企业品牌形象的重要组成部分。在竞争日趋激烈的电子商务行业, 企业的品牌形象是其发展壮大的重要保证, 也是实现企业差异化竞争的重要基础。然而, 用户数据的泄露会直接影响用户对企业的安全体验。

3电子商务企业防止数据泄露的措施

3.1增强数据泄露风险意识

在大数据时代, 作为核心资源的数据关乎着企业竞争力的提升。因此, 直接为网络用户提供服务的网站无疑是网络安全的“第一责任人”, 有责任开展有效的内部治理, 增强自身的安全意识, 并加大投入、改进技术手段。在网站被使用前, 应做好安全性能测试, 建立企业的数据安全队伍, 加强对员工的培训, 以应对可能出现的数据安全威胁;多次加密数据, 防止数据泄露后对企业和用户造成二次危害。

3.2使用企业访问权限管理

对于企业而言, “安全堡垒最易从内部被攻破”, 因此, 应严格管理内部访问系统, 确保相应级别的使用者只能接触到相应级别的信息;应采用企业访问权限管理 (ERM) 解决方案, 其允许公司执行自动化过程, 当创建文件时, 会自动应用访问权限和用法控制。

3.3运用互联网思维防范

互联网时代是开放、包容的时代。在确保数据安全方面, 可充分发挥网络用户的智慧, 使其参与进来。对于一些网站的漏洞, 电子商务企业可采用悬赏的方式号召网络用户查找。 12306网站在用户数据泄露事件发生后, 采取了悬赏2 000元的方式号召网络用户参与到网站漏洞修补的过程中来, 这充分调动了网络用户的积极性, 为网站进行了“体检”。

参考文献

[1]丁辉, 高松, 毛南.从数据泄漏事件看商业银行信息安全保密[J].计算机安全, 2012 (03) .

各国统计数据网站 第2篇

中国国家统计局：

中国国民经济核算体系（2002）http:// 欧盟统计局

http://epp.eurostat.cec.eu.int/portal/page?_pageid=1090,30070682,1090_30300608&_dad=portal&_schema=PORTAL

各国统计机构：

美国商务部经济分析局（BEA，国民核算）http://at_trim/cnat_trim.htm 德国联邦统计局（国民核算资料）

http://www.destatis.de/themen/e/thm_volksw.htm 爱尔兰中央统计办公室（核算数据）http://www.cso.ie/statistics/nationalacc.htm 瑞典统计局（核算数据）

http://www.scb.se/templates/Amnesomrade____10979.asp 澳大利亚统计局（统计方法与标准）

http://www.abs.gov.au/websitedbs/d3310114.nsf/Home/Methods,%20Classifications,%20Concepts%20&%20Standards 新西兰统计局（统计方法与标准）

http://www.stats.govt.nz/statistical-methods/default.htm 日本社会经济研究所（国民核算数据）

网站数据论文 第3篇

“浏览量已经达到多少万”是经常被各种网站拿来炫耀的主要指标。的确，浏览量对于网站，就像发行量对于报纸，是评价网站表现的基本尺度。但是，仅仅浏览量比较大就很好了吗？如果把一个网站比作一家书店，仅仅进店的顾客比较多就代表这家书店的经营效益好吗？答案显而易见——不一定。因为顾客很可能看的多、买的少。如果把运营网站比作打理书店的生意，那么目标就是让顾客多光顾、多停留、多购买和多办会员卡。为了达成这些目标，就要知道有多少顾客走进了书店、翻看了多少书、多少人购买或办理了会员卡。类似的网站运营中也需要了解这些数据，作为后续业务调整的依据。比如，每天有多少人访问了网站，他们每人平均浏览了多少页面，其中又有多少人参与了网络投票、注册了会员（包括关注微博、加微信、下载手机新闻客户端）等，流量数据分析的目标就是数字化地呈现网站运营的状况，帮助管理层从流量角度了解访客的行为，提升网站的质量，优化网站的运营。

下文选用3个反映网站运营水平的关键指标，讨论如何进行新闻网站的流量数据分析，即：浏览量、跳出率、转化率。这些指标可以概括为3类：流量数量指标、流量质量指标、流量转化指标。

浏览量是反映网站流量数量的主要指标之一，这很像纸媒的发行量概念，是评价网站表现的基本尺度。但是，就像前面提到的，不能简单地根据发行量评价一个报纸的办报质量，就比如，春节版的电视报卖得好，不能代表电视报全年的运营状况好一样。因此，评价网络媒体的运营水平，仅考察网站的访问数量是不够的，还要增加流量质量指标。

反映网站流量质量的关键指标是跳出率。跳出率指仅浏览了一个页面便离开了网站的访问次数占总访问次数的百分比。这就解释了前面说到的例子，尽管光顾书店的客人很多，但由于“看的多而买的少”，则书店仍然难逃“赔本赚吆喝”的命运。因此，跳出率实质上是非常重要的访客粘性指标，它反映了访客对新闻网站的兴趣程度。跳出率越低，说明流量的质量越好。此外，有时还要再结合平均访问时长和平均访问页数两项指标，来进一步考察访客对网站的了解程度和喜好程度，进而衡量网站的用户体验情况。这两项辅助性指标越高，代表新闻网站内容越丰富，内容的整体质量越好。

随着事业单位改革和文化体制改革的深入推进，新闻网站的运营压力越来越大，自身的创收和造血能力日显重要，这就必须提到网络媒体的“终极指标”——流量转化指标。流量转化指访客到达了目标页面，也就是说，访客浏览了新闻网站希望他关注的重要新闻和专题，或者完成了新闻网站希望其完成的动作，比如，访客参与了网络投票、注册了论坛用户、点击了商业广告等。转化率就是指完成了上述动作的访客数占总访客数的百分比。流量的转化率高低在一定程度上真正反映一个新闻网站的用户粘度和忠诚度，特别是该网站的盈利能力。有时候为了进一步分析访客行为，用于调整新闻网站业务和提升用户体验度，还需要增加分析网站入口页面和出口页面的数据。顾名思义，入口和出口页面是访客浏览新闻网站的第一个页面和结束浏览时的最后一个页面。通过分析入口和出口页面的数据，就能知道访客关注新闻网站的内容种类，以及放弃继续访问网站的原因。比如，在一个新闻网站的入口页面中，时政和社会热点新闻占的比重多，还是娱乐新闻占的比重多，直接反映该新闻网站所发布新闻的特点和工作重心，这很像党报和都市报的区别。再比如，如果发现出口页面比较多地集中在网站用户的注册页面，则说明访客已经比较关注网站。但是在注册用户时却由于某种原因离开了，这种现象很可能说明该网站的注册过程比较繁复，令访客感觉不便。因此，应该立即调整注册流程，改善访客注册用户的体验度，顺利地将一般访客转化为新闻网站的注册用户，提升高粘度访客在网站总访客数中的比重。

新聞网站的访问数据种类很多，不止流量数据一个维度。希望能够通过本文的表述，达到抛砖引玉的目的，为新闻网站的管理层提供新的评价方法和工作思路，用数据驱动新闻网站的运营和策略的调整，更有针对性地管控工作流程，稳步实现新闻网站的既定目标。

责任编辑：邰山虎

网站数据论文 第4篇

一、ACCESS数据库的创建

动态网页都需要数据库作支持, 我们选择ACCESS作为我们的动态网页的数据库, 下面我们用ACCESS创建一个名为“book”的数据库, 该数据库有一个各为“图书信息表”的数据表, 创建步骤如下:

(1) 数据库的创建

打开ACCESS软件, 选择菜单【文件】|【新建】或单击按钮, 然后在右侧的【新建文件】面板, 单击【空数据库】按钮, 然后会打开【文件新建数据库】对话框, 在此对话框中输入数据库的名称及选择保存的路径, 设置完成后, 单击【创建】按钮, 数据库就建好了。

(2) 创建数据表

建好数据库后, 系统会打开数据库窗口。

选择左边的【表】选项, 并单击上面的【设计】按钮, 进行【表】的设计界面。

设计好后数据表各字段, 设置好后单击【保存】按钮, 打开【另存为】对话框, 在此对话框中输入数据表名称, 单击【确定】按钮, 数据表就创建好了。

二、利用DSN连接数据库

(1) 建立一个站点, 创建一个ASP动态页:index.asp, 选择右侧的【应用程序】面板的【数据库】子面板, 所示, 单击按钮, 选择【数据源名称】。

(2) 打开【数据源名称 (DNS) 】对话框, 在连接名称输入:mylink。

(3) 单击【数据源名称 (DNS) 】右侧的按钮, 进入【ODBC数据源管理器】对话框。

(4) 选择【系统DSN】选项卡, 单击【添加】按钮, 打开【创建新数据源】对话框, 在此对话框中选择“Microsoft Accesss Driver (*mdb) ”选项, 并单击【完成】按钮。

(5) 进入【ODBC Microsoft Access安装】对话框, 在【数据源名】文本框中输入数据源的名称, 单击【选择】按钮, 打开【选择数据库】对话框。

三、数据库与Dreamweaver网页的绑定

数据库建立好以后, 下面要进行数据库的连接和相关设置, 具体操作如下:

(1) 建立一个站点, 选择右侧的【应用程序】面板的【数据库】子面板, 单击按钮, 选择【数据源名称】。

(2) 打开【数据源名称 (DNS) 】对话框, 在连接名称输入:mylink。

(3) 单击【数据源名称 (DNS) 】右侧的按钮, 进入【ODBC数据源管理器】对话框。

(4) 选择【系统DSN】选项卡, 单击【添加】按钮, 打开【创建新数据源】对话框, 在此对话框中选择“Microsoft Accesss Driver (*.mdb) ”选项, 并单击【完成】按钮。

(5) 进入【ODBC Microsoft Access安装】对话框, 在【数据源名】文本框中输入数据源的名称, 单击【选择】按钮, 打开【选择数据库】对话框。

(6) 在【选择数据库】对话框中选择我们所创建的数据库:book, 单击【确定】返回【ODBC数据源管理器】对话框。

(7) 单击【确定】完成数据库的连接, 并返回Dreamweaver中的【数据源名称 (DSN) 】对话框, 这时在【数据源名称 (DSN) 】选项卡中就会出现我们所建立的连接, 单击【测试】按钮, 如出现【成功创建连接脚本】对话框, 则表示数据库连接成功。

三、数据表各字段的绑定

现在我们要将数据表里的各字段绑定到我们表单中的各个表单对象, 以能够正确显示数据表的内容, 具体方法如下:

(1) 选择【绑定】面板, 首先设置一下【测试服务器】, 单击【测试服务器】选项, 打开【测试服务器】对话框进行设置。

(2) 设置完成后单击【确定】按钮, 返回【绑定】面板, 单击【绑定】面板左下方的按钮, 在打开的下拉菜单中选择【记录集 (查询) 】选项。

(3) 打开【记录集】对话框, 主要设置为:在【连接】下拉菜单中选择我们所创建的连接:mylink, 在【表格】下拉菜单中选择我们所创建的数据表:mybook, 在【列】选项中选择“全部”, 设置完成后单击【确定按钮】返回【绑定】面板。

(4) 单击选择每一个字段, 并把它拖动到表单中相应的表单对象上。

四、小结

本文主要介绍了用Dreamweaver这个工具来制作动态网站的过程, 用Dreamweaver制作动态网页可以省去编程的繁琐过程, 让动态网站的开发变得简单和有趣, 也让大家有另外的一种工具来开发动态网页, 对于我们开发网站有着很大的意义。

参考文献

[1]丁桂芝.ASP动态网页设计教程[M].中国铁道出版社, 2007, 3.

[2]邵杰.网页设计三合一教程[M].地质出版社, 2008, 8.

网站后台数据分析建议 第5篇

一、月末总结不是一堆数据的报表

很多人组织部门开会的时候，喜欢抱着一堆数据在那边讲话，比如说这个月的IP多少，最高IP是哪天，下个月目标IP要达到什么地步。这种做法非常的不对，除了让成员了解到IP达到多少，其他没有任何意义所在。

而笔者的做法则是：不会简单的拿到一堆数据，让大家横看竖看不是这里有问题就是那里可提高。而是根据先前设置的一个目标或者说一个预定的期望值，看看现在的数据是否达到。实际情况差距在哪里，是否所分配的任务都被执行，哪些要素从中产生了影响，如何产生的?接下来应该提出什么样的预期与目标，又是基于什么样的要素与行动。

二、具体关键词优化的分析

首先关键词优化不要只看单个搜索引擎，其他搜索引擎关键词排名的变化多多少少还是能反应出所执行的任务达到什么样的效果，

因为如果百度没有更新而没反应出效果就否定这种做法的话，那将会出现半途而废的效果。

三、数据比较分析反应出网站的问题

虽然说单看数据很难分析出网站具体存在着什么问题。比如说跳出率的问题，可能是因为网站的色彩，也可能是网站的内容或者是其他的原因等等。但是通过比较还是多多少少能反应出问题所在的，因为同在一个网站上，属性相同的话，跳出率相差极大，也能反应出是页面

本身存在的问题，这样我们就可以进行网站细节优化。

四、记得看网站的来路分类

来路分类分为3种情况：搜索引擎、其他外部链接和直接输入网址或者书签三类。如果想做品牌，一般是直接输入网址或者书签占据的比重比较大，这也是我们最想要的一种表现，而当搜索引擎比重占据80%以上的时候，我们就要注意了，这是一种网站不健康的表现，极度依赖搜索引擎，需要做出调整。

网站开发中数据库设计的应用 第6篇

关键词：网站开发 数据库设计 应用

中图分类号：TP392 文献标识码：A 文章编号：1674-098X（2016）05（a）-0096-02

为了满足社会各阶层的需要及互联网技术的不断发展，网站应运而生，企事业单位和政府部门大部分都创建了属于自己的网站。通过网站可以给企业进行不断宣传，对自己企业的产品进行不断营销，将企业文化传播出去，从而使人们的需求得到最大程度满足，促使网站开发产业不断的发展壮大。文章对数据库的设计进行了不断研究，网站研发的核心内容就是数据库，网站内的所有信息都要通过数据库来实现处理，因此网站的运行质量直接受数据库质量的制约。

1 概述数据库技术

数据库也被称之为是数据仓库，在仓储和管理数据信息的时候，主要是借助自身结构和数据传输形式来实现的。伴随着数据库技术的不断发展和进步，数据库的职能也发生了不断的变化，不只是在信息管理和储存中进行使用，还不断向用户的需求方向发展。现如今的数据库可以将用户的数据进行保存，还可以实现对相关数据的关联。程序员可以依据用户的需求来设计数据库，对数据库的安全进行保护，并做好正常运行和后期维护工作。如今，数据库设计技术日趋成熟，可以实现对大型数据的高效管理，因此在各个领域中都可以进行数据库设计，比如网站、银行系统以及网络购物网站等。

2 设计数据库

2.1 设计原则

程序员在对数据库进行设计的时候，一定要对数据库设计的相关因素进行充分的考虑，所以程序员需要有较强的整体观念，将用户的需求当作设计的出发点，从而避免不必要的数据库空间浪费现象，使得财力、人力和物力得到有效的节约。在设计数据库的时候，需要对范围进行限定，高效管理用户需要储存的信息。在开发数据库以前，一定要做好充分的准备工作，对网站进行全面掌握，并对网站的后期开发工作进行充分考虑。在数据库设计的时候，需要为再开发预留充足的空间，从而使数据库的扩展性得到较好的体现。

2.2 字段类型

在对数据表的字段进行确认的时候，需要对用户需求字段的最小数据类别进行充分考虑，其中具有典型代表的就是性别数据库，只包括两种类别，可以使用int型进行设计，女性使用1来表示，男性使用0来表示，然而这样设计也会造成一定的浪费现象。因此可以以最优设计为基础，使用bit型来设计字段，女性使用true来表示，男性使用fasle来表示。随着信息技术的不断发展进步，硬盘的存储量也在不断增加，价格呈现出下降的趋势。假如数据库设计得不够科学，伴随着数据资源的不断增多，硬盘的存储空间就会不断减少，使数据库的运行效率受到一定的影响，使用户浏览的时间就会不断增加。

2.3 设计数据表

数据库对用户的体现形式可以通过数据表来进行体现。依据用户的不同要求来设计不同标准的数据库，网站的规模与数据库的设计有着直接的关系。在设计数据库的时候，用户网站的扩展性与多样性需求一定要进行满足，网站设计的時候，需要对不同的功能模块进行区分。所以在设计数据库的过程中，需要在数据库的不同表中将数据资源进行储存，将数据字典性能进行完善地创建。比如创建新闻发布网站，数据库一定要满足以下几点标准：（1）系统数据表，存储用户的基本信息以及联系方式等；（2）菜单表，存储网站首页的所有菜单信息；（3）栏目表，存储网站信息发布栏的所有信息名称；（4）新闻信息表，存储网站中的所有新闻；（5）用户表，存储网站所有用户的权限信息和用户基本信息。

3 在网站开发中，数据库设计的应用

3.1 手机销售网站

在运行网站管理系统的时候，数据库设计的使用起着至关重要的促进作用，可以使信息资源的准确率得到不断提升，给不同领域和行业的发展提供有力的保证，促使网站管理系统可以在平稳、安全的环境下运行。（1）前台商店功能。客户进行界面浏览，将整个购物环节进行详细展示，对商品进行分类，店主依据实际情况来设定，客户可以在较短的时间内找到自己所需物品。（2）订单购物功能。用户对界面进行浏览和访问，用户依据自己的需求对商品进行检索。店主对商品进行分类，经过检索可以找到商品，主页可以放置销售较好的商品和特价商品。首页放置的商品一定要有特点，能够吸引用户的眼球，满足用户的需求。（3）购物车功能。用户在选择好商品以后，可以直接放到购物车中进行结算，用户将“订单确认”按钮点开以后，订单的详细信息就打开，用户可以依据自己的实际情况来选择付款方式和快递公司。（4）后台管理功能。后台管理可以对商品进行分类管理、对订单进行处理、安排商品配送和付款以及做好相关的后期服务工作。

3.2 建设呼供局网站

呼供网站的功能具有明显的多样性，例如交流和管理，所有部门的数据信息可以实现快速更新，使网站的信息更加精准。在网页里面，可以依据实际情况来设置相关的频道，例如培训类、营销管理类等，也可以给对应网站传输下载的绿色软件。在网站运行的时候，增加了频道，使呼供局的各相关系统实现了有效的连接。员工借助页面，进入不同的系统网站中进行有关程序的操作。伴随着呼供局网站建设日趋完善，员工在查询有关信息的时候会更加安全、可靠，员工在下载软件的时候可以更加安全，使信息系统可以保持平稳运行。

3.3 设计学生成绩管理数据系统

伴随着教育管理形式的不断变革，管理形式也发生了根本的改变，学分制模式得到了不断普及，人工已经无法实现对学生成绩的高效管理，需要创建完善的成绩数据库管理系统。学生成绩数据库管理系统可以对课程信息进行管理，也可以对功能模块进行科学管理。比如学生信息管理模块，将基本信息输入以后，可以进行相关的操作，修改和删除信息等，通过关键字的输入获得想要的基本信息；功能模块管理，在相应的数据库中保存系统功能，对用户的权限进行动态的管理，可以实现删减和修改功能模块。在系统运行以后，搜索的关键字可以是班级的代码，可以将专业代码和院系代码设置成普通索引，通过索引可以获取详细的专业信息和院系信息。班级表中的专业代码要与专业表中的代码相一致，可以进行相应的删除和更新信息。创建院系代码时，索引的关键字可以设置成课程代码加学号，并对重要位置的数据库代码进行科学合理分析。

4 结语

网站开发的根本落脚点是实用性，设计数据库的根本落脚点则是优化数据库。在网站开发的过程中，数据库占据着非常重要的地位，数据库的设计形式对网站开发的影响比较大，设计理念基本相同。在设计数据库的过程中，一定要对用户的需求进行充分考虑，对突发事件进行预案设计，这样可以使网站的后期维护费用得到有效控制，确保网站的正常运行得到保障。数据库的制约因素比较多，无法找到通用的优化办法，因此在数据库设计的时候，一定要将用户需求放在首要位置，从而获得最佳的效果。

参考文献

[1]王玉蓉，王文娟.NET与数据库技术在动态网站开发中的研究与应用[J].数字技术与应用，2014（3）：106.

[2]张俊强.人才网站数据库设计中对Power Designer建模工具的应用[J].信息与电脑：理论版，2013（1）：104-105.

大数据助力政府网站发展 第7篇

随着大数据分析技术的高速发展和网民社会的不断成熟,政府网站面临更高的要求,建设“智慧政府”成为电子政务的重要责任,政府网站是“智慧政府”的网络策源地,是政府在互联网环境下的窗口,是信息化条件下政府密切联系群众的桥梁,是政府创新管理、提升能力、服务群众的重要阵地。2014年上半年,我国主要政府网站总数约为55207个,如何积极适应信息技术发展、传播方式变革是摆在每个政府网站面前急需解决的问题。

一、政府网站发展面临的问题

《中国政 府网站发 展数据报 告(2013)》抽样采集了从中央部委到地方省市共82个样本网站、连续9个月、5000多万条数据,分别从政府网站用户来源、用户访问特征、用户需求、重要页面访问情况、技术功能可用性、移动终端用户访问情况、微博用户访问情况八个方面对我国政府网站进行了剖析,从中不难发现我国政府网站近年来取得了长足的进步,但在以下方面仍存在发展问题:一是用户针对性不强,网站服务不实用。大量的门户网站服务缺乏组织,部分服务内容没有明确的用户指向,使得用户获取网上服务比较困难。二是栏目设置复杂,页面布局不科学,不方便用户使用。网站栏目设计复杂,频道和栏目名称含义模糊,栏目之间纵横交错,内容重叠。三是针对移动用户群体的服务能力有待进一步提高。网站缺少移动版或针对移动终端的显示效果不佳。四是提升网站互联网影响力的优化不足。网站缺少对搜索引擎等传播渠道的优化措施,使得网站的优质资源对广大用户“不可见”,网站的影响力大大折扣。

二、大数据助力政府网站

针对政府网站发展面临的问题,深度发掘网站用户需求和用户行为数据,坚持用数据分析指导政府网站建设,对于推动提升政府网站服务水平和互联网影响力,推动网站发展,实现智慧化、科学化转型具有十分重要的作用。

大数据助力政府网站发展在以下几个方面大有可为:

1、通过对网站用户访问和服务运行数据的分析,准确定位网站已有用户的需求指向。

对于政府网站用户服务需求的基础数据主要来源于四种渠道:一是网站固定用户的访问需求;二是搜索引擎对政府服务信息的需求;三是新闻媒体对政府服务信息的需求;四是微博用户对政府服务信息的需求。通过对固定用户、搜索引擎、新闻媒体、微博等渠道用户访问比例进行加权平均排序,互联网用户对网站提供的服务信息的需求便一目了然了。

数据分析结果准确与否,与网站数据的采集量和采集方法密切相关。以某部委门户网站的数据采集为例,为了保障大数据取样的广泛性和完整性,对部委门户主站76.2万人次和委门户网站群28.6万人次的基础访问数据,包括对用户来源、点击流数据、技术环境、页面地址、表单提交、鼠标点击等用户行为数据进行全面收集;对27.3万个站外搜索关键词和4.8万个站内搜索关键词进行了分类收集和分析;对包括新浪微博约56万条相关微博信息、百度搜索引擎百度指数提供的近2000项指数数据和新浪、搜狐、新华网、人民网等117家新闻媒体网站中共3.95万篇新闻报道进行了数据分析与监测工作。

掌握了互联网用户对网站的需求指向,为政府网站提高服务质量、丰富服务内容、改进服务方式提供了决策依据,对于政府网站结构布局的调整能够提供有力的数据支撑。

2、通过对网站用户访问路径数据的分析,优化用户体验。

通过分析栏目访问群体需求的相似性,可以指导网站采取合并同类栏目、增加相关栏目之间的超链接和智能推荐等技术导引机制来优化用户访问路径,提升用户的访问体验。栏目需求相似度分析的基本方法是:利用收集到的栏目用户的站外搜索关键词列表,统计栏目两两之间关键词重合的比例,将其定义为栏目的相似性。再根据统计结果,形成栏目关键词的相似性矩阵,使用多维尺度分析功能进行可视化分析。

通过对网站栏目的整理和优化,可以保障互联网用户在最短的时间内找到自己感兴趣的内容,并可以通过相关内容推送等技术,引导用户的访问行为,在提升用户体验的同时,增加用户粘性。

3、通过对用户来源的分析,优化网站传播方式。

通过对网站用户访问网站行为轨迹的大数据分析,能够准确发现网站用户进入网站的方式,从而有针对性的提高网站对重要传播渠道的可见性。优化网站的传播方式,具体包括对网站搜索引擎的优化;提高针对主流导航网站的推送能力;开通RSS订阅、短信订阅、邮件订阅、分享到社会化媒体等技术功能,通过规范网页设计,最大限度提高网站信息在互联网上的传播效率;提高网站与微博、微信两大信息发布渠道的整合力度;在网站部署社会化媒体分享标签,方便用户直接将网站内的信息分享到其他渠道;提升网站在百度百科、百度知道等社会化传播渠道中的信息影响力等方面。

视频网站访问数据挖掘系统 第8篇

随着互联网的飞速发展, 网络已逐渐取代电视、报刊等传统媒体成为广大用户的主要信息源。自2010年起, 我国广电业顺势而行入驻网络平台, 各地的网络电视纷纷上线对外提供服务。然而如何有效衡量网站价值, 如何从网站获得有效信息来吸引更多用户点击, 提高网站访问量, 从而提升广电业在网络平台的影响力已成为共同关注的难题。

网站数据挖掘技术为解决这个问题带来一线曙光。网站挖掘技术是数据挖掘技术在网站上的应用实例, 可从挖掘对象上将其分为网站结构挖掘、网站内容挖掘和用户数据挖掘三类[1]。网站访问数据挖掘是指分析网站服务器日志以自动发现用户的访问特点[2]。近年来, 应用网站访问数据挖掘技术以获得用户相关信息已成为一个研究热点, 并得到一定范围的应用。如收集用户在特定网站的访问信息, 对该信息进行分析, 识别用户的行为特点, 从而预测该用户的未来行为并对其进行个性化服务[3];或对具有相似访问行为的用户进行聚类, 从而对此类用户提供同类的定制服务[4]。

尽管网站数据挖掘技术已得到一定肯定和应用, 但该技术在视频网站方面的研究和应用仍十分少见。对广电业所有各网络电视台而言, 视频网站数据挖掘技术则至关重要, 有效的视频挖掘技术除了可以监控网站视频流畅度, 及时调整流媒体分发策略提供流媒体访问体验, 还可以优化视频内容的制作和利用, 结合现有的网站数据挖掘技术向用户提供更多符合其访问习惯的内容, 改善网站整体的友好度并提高网站访问量。

本文结合前人的研究成果与视频网站特点, 提出适用于视频网站的数据挖掘系统模型, 并以上海电视台所属的看看新闻网数据挖掘系统为例介绍视频网站数据挖掘系统的系统架构及其作用。该视频网站数据挖掘系统可完整采集用户的访问数据并完成数据建模, 使用友好且交互性强的界面方便用户进行模型分析, 帮助用户及时发现网站页面流量以及用户访问等方面的特点, 为网站的内容与结构调整提供可靠的数据基础以优化网站整体, 从而改善网站的客户体验提高网站流量, 提升网站品牌知名度。

1视频网站的用户数据挖掘

网站的用户数据挖掘的目的在于从用户的网站访问数据中获取有用的访问数据, 分析得出用户的浏览模型, 从而改善网站结构或为用户提供个性化服务。从处理流程上来看, 可以分成数据采集、数据预处理、模型发现和模型分析几个阶段, 如图1所示。

1. 数据采集

网站数据包含网站自身发布的网站文件以及用户访问数据, 这些数据在不同规模程度上体现用户在网站上的访问行为。用户访问数据记录在各种访问日志中, 如页面访问日志、视频访问日志、来源日志等, 日志数据通常从服务器端、客户端及代理服务器上获得。

2. 数据预处理

数据预处理主要目的是将前一阶段采集到的网站内容数据、网站结构数据和用户数据抽象为可用于模式发现的数据。管理者可通过网站内容和结构数据, 获得网站页面分类、站点内容以及站点拓扑数据, 这也是目前搜索引擎用来衡量网站/页面价值的关键数据;用户数据则可以根据WCA (W3C Web Characterization Activity) 提出的相关数据抽象定义[6], 如UV、PV、服务器会话、访问流等, 进行统一处理。

3.模型发现

在模型发现阶段, 管理者将使用多种方法或算法[7,8], 如数理统计、数据聚类、数据分类、机器学习及模式识别等, 将预处理阶段获得的数据、以及其他途径获得的相关数据针对特定的应用进行进一步整理, 以获得可有利于网站建设及运营的信息。分析方法和分析目标 (或适用场景) 是模型发现阶段的核心因素, 它们的组合及选取是否恰当将直接决定网站使用数据挖掘的成败。

4.模型分析

如图1所示, 模型分析是网站使用数据挖掘的最后一步。在该阶段, 管理者将根据分析目的将预处理阶段获得的数据及模型发现阶段获得的信息进一步筛选, 结合各种人工分析手段获得对网站建设或运营有益的规则或模型等。数据筛选是该阶段的主要技术元素, 常用的数据筛选方法有信息过滤、信息查询 (如SQL) 及基于OLAP的可视化数据挖掘技术对信息进行进一步分析, 使管理者获得所需信息, 从而进行人工分析, 对网站进行各种优化调整。

2视频网站数据挖掘系统

本文将以看看新闻网 (www.kankanews.com) 的数据挖掘系统为例, 介绍视频网站数据挖掘系统的构建及应用。隶属于东方传媒集团 (SMG) 的看看新闻网是一家以视频新闻为主的网站, 网站内容包含一个24×7的新闻直播页 (live.kankanews.com) 以及大量的点播视频新闻, 其分发架构模型如图2所示。

视频网站的数据挖掘在页面数据上与传统网站相似, 但在视频挖掘上与传统网站有所不同。传统网站的数据挖掘关注页面访问情况, 如页面的访问频度、逗留时长等, 即页面会话数据。视频网站的数据挖掘除了需要收集页面会话数据, 还需要关注视频的实际播放情况, 如视频的访问时长、视频片段的播放频度、视频访问来源等, 即视频会话数据。相比于仅使用页面会话数据的传统网站数据挖掘系统, 综合了页面会话数据和视频会话数据的视频网站数据挖掘系统, 可以更完整的记录用户对视频网站的访问情况, 提供视频被关注的准确数据, 可提供传统的网站调整数据支持, 更可提供视频内容制作的指导, 从而优化视频网站的整体内容及结构, 提高网站的用户体验。看看新闻网网站使用的数据挖掘系统是一个分布式部署的大型网站量化分析系统, 其架构模型如图3所示。

1.数据采集

如图2所示, 看看新闻网利用CDN (Content Delivery Network) 来实现网站内容分发, 用户与网站之间的交互也基本通过CDN完成。CDN的使用保障了网站访问的稳定性和可靠性, 但给数据采集带来了以下难度。

1) 数据完整性:由于大量用户请求在由CDN直接完成, 故网站源站Web Server服务器日志将遗漏大量的用户访问数据。

2) 数据准确性:综合CDN日志与Web Server服务器日志可得到完整的网站内容请求数据, 但是这些日志将记录大量的非用户访问数据, 如网络爬虫等数据;此外, 用户单一会话的数据可能离散记录在CDN日志和Web Server日志中, 这给数据预处理阶段的会话识别带来很大难度。

3) 数据定制:服务器日志所能提供的访问信息有限, 对视频访问信息的记录基本为零;为能记录以上信息, 必须对服务器日志进行相关定义修改, 而源站与CDN独立的分发架构以及服务器日志本身的限制, 导致相关的日志定制难以实现。

考虑到以上问题, 网络新闻台数据挖掘系统采用在客户端 (即网页中) 植入Javascript代码的方式来采集用户访问数据, 该方法可以有效解决以上3个问题。当然系统的扩展性设计使该系统也可以接受其他数据来源, 如服务器日志等, 以满足网站管理者的分析需要。

2.预处理

在预处理环节, 系统将采集到的数据按照一定规则进行整理。根据看看新闻网的数据使用需要, 部分视频访问数据将优先进行数理统计以满足网站的实时监控需要, 图4即为看看新闻网的实时视频性能监控界面。其他访问数据 (含页面访问数据与视频访问数据) 将在当天的数据都采集完后, 统一进行数据清洗:通过用户访问会话识别, 整理获得基于独立会话的用户页面访问行为和视频访问行为信息, 对这些信息进行数据抽象, 获得多维度的数据切片 (如用户访问来源、用户退出路径等) 以及可量化的数据指标 (如PV、UV等) , 以适合系统数据仓库的格式, 写入数据仓库。

3. 模型发现

在模型发现环节, 系统将读取数据仓库中的内容, 根据系统预定义的指标和维度构建数据模型, 以供后续分析。看看新闻网数据挖掘系统主要构成以下数据模型。

1) 视频质量衡量。视频与图文在呈现方式上的不同本质, 使得很多用于传统网站图文内容衡量的方法, 如页面滞留时间等无法准确衡量视频内容, 因此看看新闻网使用了一套不同于传统图文网站的视频质量衡量模型:视频流畅度衡量与视频内容衡量。

(1) 视频流畅度衡量。视频网站的视频流畅度直接影响用户的访问体验, 故网站运营者需要一套可准确衡量用户对视频流畅度直观感受的工具, 以使其了解网站视频的流畅度表现, 并可进一步调整网站运营策略。

在本系统中, 将针对后续的不同应用, 施行两套视频流畅度衡量方法。

(1) 实时视频流畅度衡量。系统使用之前采集到的当前时刻影响流畅度体验的关键数据:视频播放是否卡顿、卡顿时间长度、首次缓存时间等, 对这些数据进行综合统计衡量, 提出视频流畅度指标, 以此定量衡量此刻视频的流畅度表现。

(2) 基于独立视频会话的视频流畅度衡量。与实时视频流畅度衡量方法相似, 该方法同样将综合衡量各影响流畅度体验的关键数据, 提出视频流畅度指标。但与实时视频流畅度衡量方法不同在于, 该方法将以独立视频会话的数据为单位进行独立衡量, 获得基于独立视频会话的流畅度指标。这种方法将获得更多的视频流畅度信息, 如特定视频的流畅度、特定时段的流畅度 (图5) 等, 为模型分析提供更多分析维度。

(2) 视频内容衡量。与传统的通过人工主观评价视频内容的方法不同, 本系统采用基于用户行为的视频内容衡量方法。通过记录用户对视频片段的实际观看表现, 如观看时间长度、观看次数、是否回拖等, 综合评价该视频内容是否被用户认可, 甚至于通过衡量单个视频会话中, 视频中各片段被观看的次数来精确定位受用户欢迎 (或导致用户急剧流失严重) 的视频片段, 从而对内容制作人员提出更精准的基于实际访问数据的制作指导。

2) 用户分类。在预处理阶段, 系统已获得不同维度的数据切片, 如来源路径、浏览器、地理位置等, 通过对这些维度的数据进行选择和组合, 即可设定特定的用户分类, 如上海地区从搜索引擎到达看看新闻网的用户等, 管理者可针对特定分类的用户进行进一步模型分析。

3) 路径分析。通过对用户访问会话进行序列分析, 可以获得用户从特定页面出发的, 在看看新闻网的访问路径, 如图6所示。管理者可以结合其他信息维度信息 (如用户分类等) 对用户访问序列进行分析。

4. 模型分析

在该阶段, 看看新闻网数据挖掘系统由实时监控和基于OLAP的可视化数据挖掘两部分组成, 网站管理者可通过访问相应界面, 使用之前获得的各种数据模型, 进行进一步分析达到网站运营的各种数据支持。

1) 实时监控。看看新闻网的实时监控界面如图4所示, 网站管理者可以从中获得网站视频访问人数信息、视频流畅度信息等, 目前该界面已在以下方面发挥作用。

(1) 视频分发策略实时调整。实时监控界面中的地图窗口实时显示当前访问网站的各地用户所感受到的视频流畅程度, 以红色气球表示不流畅、蓝色气球表示非常流畅, 数值表示位于该地的访问人数。当地图上出现大量的红色气球且数值较大时, 通常意味着网站的流媒体加速可能存在问题, 网站管理者可以通过调整CDN分发策略来调整视频流畅度。而该监控节目也可用于观察实时调整的效果。

(2) 直播节目内容实时调整。电视节目管理者无法实时获得的所有观众的收视反馈, 因而对传统电视媒体而言, 根据观众行为调整直播节目的内容进程是难以实现的。但网络媒体的数据挖掘系统可以有效弥补这一不足, 通过对所有观众视频观看数据的采集及处理, 网站管理者可以实时获得当前观看该直播的人数变化曲线 (如图5在线人数窗口所示) , 通过对访问人数监控可有效调整网站直播内容, 如适时停止不受欢迎的话题、多次重播或改编受欢迎的视频片段等。

(3) 其他运维监控。从该实时监控界面网站运维人员可以获得所有看看新闻网的视频访问用户的基本访问信息, 当监控出现各种异常, 如视频缓冲次数异常波动、在线人数猛增时, 运维人员可以根据其变化趋势, 提前做好准备, 以保障网站稳定运行。

2) 基于OLAP的可视化数据挖掘。基于OLAP的可视化数据挖掘是该数据挖掘系统在模型分析阶段的核心。通过使用模型发现阶段构建的数据模型以及多维度数据立方体的数据结构, 网站管理者可以在OLAP可视化分析中查询聚合数据, 进行多维度深入分析, 获得对网站运营有益的相关指导。如通过分析用户的访问, 可以帮助网站管理者深入分析用户的浏览习惯和点击习惯, 将访问者最感兴趣的内容放到最容易引起点击的区域, 使网页设计和栏目设置更符合访问者的习惯, 增加用户粘度和提升网站流量。

3总结与展望

从目前网站的发展来看, 各大网站都往用户个性化产品服务发展。网站数据挖掘系统可以有效对网站上用户的访问进行衡量, 了解影响网站访问的各种因素, 以便快速调整网站策略等。看看新闻网在视频网站数据挖掘的建设上已初具成效, 目前网站的数据挖掘系统已在流媒体监控及内容指导上发挥出积极作用。但由于样本量不高, 该系统在发掘网站用户的访问偏好, 从而利用这些信息来发展用户、指导网站建设方面, 尚有余力可以发掘。随着网站的推广, 数据量逐渐丰富, 看看新闻网数据挖掘系统将成为一个关键工具, 为网站的内容与结构调整提供可靠的数据基础, 帮助网站提升品牌知名度。

摘要：随着我国各大电视台所属的网络电视台纷纷上线, 视频网站的价值衡量, 指导网站建设, 从而凸显传统媒体在网络平台上的影响力已成为广电人的一个新研究方向。而视频网站数据挖掘技术作为该研究方向的一个分支, 目前已得到一定应用。本文提出了适用于视频网站的数据挖掘系统模型, 并以看看新闻网数据挖掘系统为例介绍视频网站数据挖掘系统的系统架构及其作用, 该系统可有效地优化网站视频分发效果, 指导视频内容的制作, 向用户提供更多符合其访问习惯的内容, 从而改善网站整体的友好度, 提高网站访问量和媒体影响力。

关键词：视频网站使用数据挖掘,网站使用数据挖掘,数据挖掘

参考文献

[1]Cooley R., Mobasher B., and Srivastava J.“DataPreparation for mining World Wide Web browsing patterns”, Journal of Knowledge and Information System, 1999, pp.1-27.

[2]Cooley R., Mobasher B., and Srivastava J.“GroupingWeb page references into transactions for mining World WideWeb browsing patterns”, New port Beach, CA.IEEE, 1997, pp.2-9.

[3]Srivastava J., Cooley R., Deshpande M.and Tan P., “Webusage mining:Discovery and applications of usage patternsfrom Web data”, SIGKDD Explorations, 2000, Vol.1, pp.12-23.

[4]Wang T.and Ren Y., “Research on PersonalizedRecommendations Based on Web Usage Mining UsingCollaborative Filtering Technique”, WSEAS Transactions onInformation Science and Applications, 2009, Issue 1, Vol.6, pp.62-72.

[5]Cohen E, Krishnamurthy B., and Rexfor J.“Improvingend-to-end performance of the web using server volumes andproxy filters”.In Proc.ACM SIGCOMM, 1998, pp.241-253.

[6]World wide web committee web usage characterizationactivity.http://www.w3.org/WCA.

[7]Rawat S.and Rajamani L.“Discovering potential userbrowsing behaviors using custom-built apriori algorithm”.International Journal of Computer Science&InformationTechnology (IJCSIT) , 2010, 2 (4) , pp.28-37.

网站数据论文 第9篇

网络技术已经成为现代技术中一个不可缺少的关键技术。网络也逐渐改变着人们的生活方式。随着时代的发展,人类生活的方式已经被网络这个虚拟与真实并存的产物所改变着,使得人们越趋依赖于网络,浏览网站、网页,随身QQ、微博、在线游戏等都渐渐成为在校大学生一种时尚的生活习惯,贯穿于整个校园网络生活。往往被人们所忽略的却是所有网站共性存在着的安全问题。而学校对于本身网站的需求与依赖也逐步张显。在高速发展的网络时代,网站的设计由原来单一的具有简单宣传介绍功能的框架,引伸至功能化较强的数据综合公共平台,因此就对网络网站的建设及规划提出了更高更严格的要求。

一个网站的功能大小取决于建立网站的目的需求,作为一个学校的网站,更多的是成为实现学校间各职能部门日常事物处理,体现办公自动化、智能化的综合服务平台,同时成为联系校内外各大应用系统的便捷通道。因此,做好学校网站的建设,提高网站的安全是必要也是必需的。一旦学校的网站遭受到灾难性的破坏,将对学校造成不可估量的影响,而这种影响的危害已经不仅仅体现在物质危害上,更具有深远的现实影响。

对于和IT基础设施相关的业务中,由数据丢失所造成的后果是最具破坏性的。不管数据的丢失是因为无意或有意的删除,或者存储数据的介质损坏,或者由于任何一种人为或自然的因素,数据都是基础设施各部件中最难存放的,所以由于数据丢失导致的业务流程中断也是最难克服的。在IT相关行业中,所谓的灾难是由IT基础设施的中断所导致的业务流程的非计划性中断。

网站灾难是由于支持网站运行的基础设施及线路受到非计划性的中断会破坏而导致的网站停止正常服务。网站灾难事故,一般可分为硬件灾难与数据灾难两中常见的灾难性事故。而作为学校的网站,最常出现的却是数据灾难,数据的丢失、数据不完整、数据被动地遭受到破坏等,成为了困扰广大校园网络管理人员的难题。一旦网站数据被破坏将直接导致网站无法正常运作,从而影响正常的事务开展及处理。其中最典型的数据破坏活动要属网站被非法入侵并进行篡改,而这种破坏行为在现行的法律法规约束下仍然层出不穷,造成了一定的社会影响和现实危害。

以学校网站发现数据被非法入侵后进行篡改为例。网站停止了对外服务,造成了不同程度的破坏及社会影响。学校网站所起的作用是让外界从各方面了解学校,在一定程度上起到了宣传学校的作用,而网站本身还是学校各部门数据处理交换等综合平台。而网站被修改后所有的系统服务将被恶意停止,影响正常系统运行。在此学校网络中心需要网站及时启用网站应急处置预案,将现有网站数据、网站日志、服务器日志、安全访问日志等进行了只读备份,在发现网站被入侵篡改的第一时间进行网站数据恢复工作。根据网站入侵数据篡改的严重程度及学校受到的影响程度进行处置。如涉及社会危害性较大的黑客入侵案件,建议向公安网络警察部门报案,寻求法律保护,维护校园网络合法享有的权利,从而有效保障社会网络的安全稳定。

1. 应急处置流程

如遇到网站攻击、数据篡改等黑客行为网络管理部门该如何进行应对与处置呢?一般的处置方法是及时对涉及的相关数据进行有效的备份及网站数据的恢复,而在《中华人民共和国计算机信息系统安全保护条例》、《中华人民共和国计算机信息网络国际联网管理暂行规定实施办法》、《计算机信息网络国际联网安全保护管理办法》等法律保护的网络环境中,一旦网站数据遭受破坏,还要对涉及的内容进行有效合理的分析,评估影响程度,并及时通过法律的武器来保护合法的网络权益。

一般的应急处置流程包括了:

评估数据灾难的严重程度,启用网站数据评估及响应任务;

启动应急预案,并对原始数据进行备份;

进行系统恢复及网站数据恢复;

报告服务过程及数据资料建档、存档。

2. 安全保障措施的建立与完善

校园的网站安全仍存在一定的问题,为了更好地保障网站及信息安全,除了对承担网站运行的计算机软、硬件进行安全保障外,还必须搭建起有效的网站安全软构架。虽然没有哪个安全构架能够百分之百地应对网站数据安全的挑战,但是校园网站的数据保护仍旧是一场艰苦卓绝的战斗,为了能够更好的兼顾学校、个人的需求,并且能保证学校网站在运行过程中的安全需求,作为学校的网络运行、维护、管理部门,应该采取以下几个措施加以保障实施。

(1)建立网站信息安全必要的风险管理及应对机制

将安全管理与风险管理相融合,建立起一套适合本学校的风险管理计划,准确定位系统中的高风险、中等风险和低风险的网站信息系统模块,然后有规划的考虑各职能网站特有的风险,对其以数据方式进行量化管理,进行分类评定和策略定制。一方面还要加强风险管理的执行力度,不执行,再好的风险管理计划也无济于事,网站信息安全的风险管理应该作为一个长期的工作任务长抓不怠。此外还要进行与风险管理相对应的应对机制的建立,对于不同风险的网站信息系统,定制相应的应急方案,一旦发生灾难,立即启用应对机制,减低网站信息安全风险,从而保障网站信息安全。

(2)遵守策略及法律法规,适当建立网站安全边界

作为使用管理校园网络及网站应用的用户,应该遵守校园对网络安全的相关规定,遵守有关法律法规。在校园网络内部,自己携带计算机的教师、学生以及外部来访人员不断出现在校园网络内,接入网络使用校园网及各网站系统平台,他们所使用的计算机有部分存在安全漏洞,甚至是带毒现象。当他们访问校园网站时,势必增加了各个存在于校园网内与之相连接网站的安全隐患。网络管理部门可适当对联网群组策略进行设置,将无授权的接入用户降低其网络访问权限,以减少对校园网站的安全威胁。管理人员可适当的建立和划分网站访问安全域,使其能更好的明确网站边界,形成简洁、清晰、稳定的网络架构,实现网内各网站系统之间严格的访问控制,从而解决复杂的网站安全问题。越小、越细的网站安全域,虽然能够很好地保护内部各网站系统,但安全域的划分还是不能单纯从安全的角度考虑,要以业务角度为主、以安全角度为辅,并充分参照现有网络结构和管理现状,这样才能以较小的代价完成对网站系统和网络的梳理,保障网站信息安全。

(3)培养校园网用户上网安全意识,定期组织网络及信息安全培训

针对校园网使用的教师、学生等网络用户,有条件的学校应定期做好安全意识方面的教育及相关的网络安全信息培训,提高网络安全意识,指出表明网络哪些地方存在危险、什么样的危险、为什么会存在危险、如何消除危险等,网络管理部门要针对这些方面做好培训管理计划。网络管理部门可邀请有关网络安全管理部门的讲师进行网络安全讲座,了解网络安全新技术,以提高使用者应对网络安全事故的反应意识。

(4)建立合理的事件响应报告机制

对于校园网站的管理及维护要及时,在发生事件过程中要针对具体问题及时响应,网络管理部门应制订有效的网络管理及网站事件响应机制和相应的处置方法,做到有事件有响应,定期作好事件总结及处理事后报告,建档备查。

3. 结束语

面对日趋严峻的网络安全问题,作为学校网络管理部门要积极响应上级网络安全部门的管理,配合做好排除安全隐患的工作。切实保障校园网络、网站安全,给校园网络、网站平台等用户提供一个和谐、安全、稳定的上网环境,为学校的信息化事业发展保驾护航。

参考文献

[1]《灾难恢复规划(第三版)》,ISBN 7-5053-9889-X,[美]Jon William Toigo著,连一峰、庞南等译.

[2]《计算机世界》2008第41期《保护校园网络安全的6个必要步骤》,《CIO》Bill Brenner,沈建英编译.

[3]相关的国家法律条文,见有关法律.

[4]《计算机世界》2008第41期《保护校园网络安全的6个必要步骤》,《CIO》Bill Brenner,沈建英编译.

网站数据论文 第10篇

关键词：自动采集,网站数据,反自动采集,研究

1 研究背景及意义

现代社会是一个信息社会, 工作、生活越来越离不开信息的支撑, 信息技术和信息产业在经济、社会发展中的作用日益增强, 并逐渐发挥着主导作用, 成为比物质、能源更为重要的资源。数据已经成为一种商品进行交易, 对数据进行再加工、提取、去噪、排序、整合后得出的数据往往具有非常高的商业价值, 因为这些经过处理的数据能够更有效地指导商业决策, 以使得公司、企业能够在竞争激烈的商业环境中处于不败之地。比如要获取某市年温度、降雨量等信息, 则从该市气象局网站上获取的数据较为权威、可信;要获取某市的高新技术企业信息, 则从该市负责注册高新技术企业的政府网站获取的数据较为准确;即准确的数据往往来自官方网站、权威性网站, 而官方数据、权威数据的获取往往具有一定的困难或限制, 比如只能按条进行顺序查询, 不能进行批量查询, 如果采用人工复制、采集的方式获取完整的、大批量的数据, 时间、开销等各个方面均不允许, 于是采用具有自动采集数据功能的软件采集网站数据往往成为人们获取官方、具有权威性、完整、大批量数据常用的手段。

目前比较流行的编程语言c++、c#、java、python等实现自动采集网站数据的原理类似, 只是语法或所使用的组件不同, 文章对基于windows平台下的java编程语言实现自动采集网站数据以及反自动采集网站数据的方法进行探讨。

2 自动采集网站数据的方法

通常由编程语言实现的自动采集网站数据均要通过模拟客户端向服务器发送请求的方式, 获取服务器返回的数据, 从中提取所需数据。

具体又分为两类:

( 1) 模拟客户端向网站服务器发送请求 , 直接获取服务器返回的html格式的数据, 并对该数据进行解析从中提取所需数据。采用java语言实现的核心代码如下 :

然后采用Java提供的sub String ( ) 函数或正则表达式对从服务器端获取的字符串组合进行解析, 从中提取所需数据。

( 2) 当网站服务器端对返回值进行一定的加密设置 , 或者通过其它手段使得客户端获取的响应内容无效等, 即通过正常的请求、响应机制获取不到服务器端后台返回的数据。而通过在客户端的浏览器中输入请求网址, 能够正常获取服务器端响应的html文件;即网站服务器返回数据并将其装配成html文件返回到客户端, 在客户端的浏览器中能够读取到该html文件, 但是我们的后台应用程序却获取 不到服务 器端返回 的数据。 此时可采 用JAVA提供的Robot类进行相应的操作以获取数据。

关于Robot类:此类用于为测试自动化、自运行演示程序和其他需要控制鼠标和键盘的应用程序生成本机系统输入事件。Robot的主要目的是便于JAVA平台实现自动测试。该类提供的模拟键盘、鼠标功能使得我们不仅能够利用其开发自动测试应用程序, 而且能够开发其它无需手动控制、自动执行的“机器人”应用程序。采用java语言的Robot类实现的自动采集网站数据的核心代码如下:

然后利用java语言的sub String ( ) 函数或正则表达式对获取的字符串进行解析, 从中提取所需信息。

3 反自动采集网站数据的方法

针对上述基于windows平台下的JAVA编程语言实现的自动采集网站数据的方法, 我们可以采取以下方法进行应对, 以防止网站数据被数据采集软件自动采集:

( 1) 定期或随机更改返回客户端浏览器html文件的格式。目前网站服务器与客户端间的通信基本上都是基于http协议, 该协议是一个请求-响应式的协议, 服务端返回的内容多为html文件。数据采集软件依据html文件内容的格式对从服务端返回的内容进行解析, 随机改变返回html文件的格式就可以阻断解析的过程, 从而阻断数据采集的过程。

网站数据论文 第11篇

[关键词]数据库 安全威胁 防范措施

电子商务自诞生以来以惊人的速度改变着人们的生活习惯和交易方式。现在全世界的人们正通过电子商务网站进行着各种交易。在各种电子商务网站中人们的各种重要的交易数据被存储在网站的后台数据库中。这些数据库就像一座座的金矿吸引着一双双贪婪的眼睛。如何保证数据库中数据的安全就成了摆在我们数据库设计者面前的一个严峻的挑战。

一、电子商务网站数据库安全威胁

作为网络信息系统的核心，数据库服务器上往往存放着大量重要和敏感的信息，因此网络数据库安全与否直接影响数据库中保存的数据的安全。网络数据库不仅数据信息量集中、处理数据量大，而且是面向多用户访问，数据更新频繁。由此，威胁网络数据库安全的因素主要来自以下几方面。

1.用户对数据库的不正确访问，引起数据库数据的错误；2.为了某种目的，故意破坏数据库，使其不能恢复；3.非法访问不该访问的数据库信息，但又不留痕迹；4.用户通过网络进行数据库访问时，有可能受到各种技术（如搭线窃听等）的攻击；5.非法用户绕过安全内核，窃取信息资源等现象；6.未经授权非法修改数据库数据，使其数据失去真实性等等。

二、防范措施

理想的网络数据库安全防护应考虑两个层面：一是操作系统与Web服务器以及应用服务器的安全；二是数据库核心层的安全，即数据库本身的安全。下面将以较为常用的SQL SERVER 2000数据库管理系统为例讨论电子商务网站数据库的安全防范措施。

1.操作系统与Web服务器以及应用服务器的安全。首先，对于网络数据库运行所依赖的计算机系统和网络来说，最主要的安全威胁来自病毒侵犯，对此，外围层中应避免病毒利用网络平台隐藏、扩散及破坏整个系统的运行，采用防、杀、管相结合的综合治理方法，可采用VPN技术构筑网络数据库系统的虚拟专用网，保证网络路由的接入安全及信息的传输安全，通过防火墙技术，实现网问隔离和网段问隔离，保证网络边界安全，确保系统免受病毒等非法入侵的危害。

其次，就是通过加密，防止数据在传输过程中被监听或篡改。SQL Server 2000使用的Tabular Data Stream协议来进行网络数据交换，如果不加密的话，所有的网络传输都是明文的，包括密码、数据库内容等等，这是一个很大的安全威胁，能被人在网络中截获到他们需要的东西，包括数据库帐号和密码。所以，在条件容许情况下最好使用SSL来加密协议，当然这需要一个证书来支持。

2.核心层的安全。这部分也是恶意攻击的主要目标。对此，我们可以从以下几个方面着手构建数据库管理系统（DBMS)下的安全防范，保证数据库的独立性和完整性。

（1）使用安全的密码策略，我们把密码策略摆在所有安全配置的第一步，请注意，很多数据库帐号的密码过于简单，这跟系统密码过于简单是一个道理。对于sa更应该注意，同时不要让sa帐号的密码写于应用程序或者服务器端脚本中。复杂的密码是安全的第一步。

（2）安全帐号策略。由于网络数据库往往都是面向多用户多访问的，用户不同，访问要求和访问权限就不一样。对于网站数据库来说，访问用户多种多样，按权限大致可将用户划分为最终用户、数据库系统管理员、数据库管理员、超级用户。

由于SQL Server不能更改sa用户名称，也不能删除这个超级用户，所以，我们必须对这个帐号进行最强的保护，最好不要在数据库应用程序中使用sa帐号，只有当没有其它方法登录到SQL Server实例（例如，当其它系统管理员不可用或忘记了密码）时才使用sa。建议数据库管理员新建立一个拥有与sa一样权限的超级用户来管理数据库。安全的帐号策略还包括不要让管理员权限的帐号泛滥。

（3）数据库备份与恢复。建立严格的数据备份与恢复管理机制是保障所有电子商务网站数据库系统安全的有效手段。数据备份不仅要保证备份数据的完整性而且要建立详细的备份数据档案。系统恢复时如果使用不完整或日期不正确的备份数据都会破坏系统数据库的完整性，导致严重的后果。

针对不同数据库的实际情况，SQL Server 2000提出了三种主要的备份策略：只备份数据库，备份数据库和事务日志，增量备份。

一般说来，对数据库进行备份，应综合使用三种备份策略，普通的电子商务网站数据库的备份策略如下：根据系统运行的实际情况，周期性地进行全面数据库的备份。比如在每天凌晨进行数据库的全面备份；在较短的时间间隔内进行数据库的增量备份，如每4小时备份一次；在每两次增量备份之间进行事务日志的备份，例如每30分钟备份一次。

（4）审计跟踪。数据库系统的审计跟踪功能也是一个非常重要的安全措施。它的主要任务是对用户（包括应用程序）使用系统资源（包括软件和数据）的情况进行记录和审查，一旦发现问题，审计人员通过审计跟踪，可望找出原因，追查责任，防止类似问题再度发生。用来监视用户对数据库的操作和及时发现问题。常用的审计方式主要有两种，即用户审计和系统审计。

参考文献

网站制作中数据库研究 第12篇

人们在总结信息资源开发、管理和服务的各种手段时,认为最有效的是数据库技术。数据库的应用已越来越广泛。从小型的单项事务处理系统到大型复杂的信息系统大都用先进的数据库技术来保持系统数据的整体性、完整性和共享性。目前,一个国家的数据库建设规模(指数据库的个数、种类)、数据库信息量的大小和使用频度已成为衡量这个国家信息化程度的重要标志之一。

数据库设计是建立数据库及其应用系统的技术,是信息系统开发和建设中的核心技术,具体说,数据库设计是指对于一个给定的应用环境,构造最优的数据库模式,建立数据库及其应用系统,使之能够有效地存储数据,满足各种用户的应用需求(信息要求和处理要求)。

数据库设计既是一项涉及多学科的综合性技术,又是一项庞大的工程项目。有人讲“三分技术,七分管理,十二分基础数据”是数据库建设的基本规律,这是有一定道理的。数据库设计应该和应用系统设计相结合,也就是说,整个设计过程中要把结构(数据)设计和行为(处理)设计密切结合起来。

在数据库软件中,SQL Server 2000是目前使用比较多的数据库,SQL Server数据库处理的基本结构,采取关系型数据库模式,SQL Server的数据库处理方式,是使用面向对象的操作方式与精神,也就是说,SQL Server的所有功能,都可以基于系统已经建立好的一些对象来达成,是相当OO(面向对象)的一个系统结构。

2 B/S开发模式

网站制作采用了当前流行的Browser/Server模式进行开发。B/S模式是浏览器/服务器模式,即数据库系统在后台数据库服务器上运行,对数据进行安全存储和快速检索;Web服务器在前台运行,当客户机提出一个查询请求的时候,Web服务器运行一个应用程序对数据库进行操作,并把结果传送给客户机,客户机的浏览器(Browse)得到数据后将最终结果显示给用户。

在B/S系统中,用户可以通过浏览器向分布在网络上的许多服务器发出请求。B/S结构极大地简化了客户机的工作,客户机上只需安装、配置少量的客户端软件即可,服务器将担负更多的工作,对数据库的访问和应用程序的执行将在服务器上完成。在B/S三层体系结构下,表示层(Presentation)、功能层(Business Logic)、数据层(Data Service)被分割成三个相对独立的单元:第一层——表示层:Web浏览器。在表示层中包含系统的显示逻辑,位于客户端。它的任务是由Web浏览器向网络上的某一Web服务器提出服务请求,Web服务器对用户身份进行验证后用HTTP协议把所需的主页传送给客户端,客户机接受传来的主页文件,并把它显示在Web浏览器上。第二层——功能层:具有应用程序扩展功能的Web服务器。在功能层中包含系统的事务处理逻辑,位于Web服务器端。它的任务是接受用户的请求,首先需要执行相应的扩展应用程序与数据库进行连接,通过SQL等方式向数据库服务器提出数据处理申请,而后等数据库服务器将数据处理的结果提交给Web服务器,再由Web服务器传送回客户端。第三层——数据层:数据库服务器。在数据层中包含系统的数据处理逻辑,位于数据库服务器端。它的任务是接受Web服务器对数据库操纵的请求,实现对数据库查询、修改、更新等功能,把运行结果提交给Web服务器。

从上面的分析中可以看出,三层的Browser/Server体系结构是把二层Client/Server结构的事务处理逻辑模块从客户机的任务中分离出来,由单独组成的一层来负担其任务,这样客户机的压力大大减轻了,把负荷均衡地分配给了Web服务器,于是由原来的两层的Client/server结构转变成三层的Browser/Server结构。三层的Browser/Server体系结构具有许多传统Client/Server体系结构不具备的优点,而且又紧密的结合了Internet/Intranet技术,是技术发展的大势所趋,它把应用系统带入了一个崭新的发展时代。

3 数据库介绍

数据库(Database),是按照数据结构来组织、存储和管理数据的仓库,是用于查询的大量数据的存储区域。使用数据库可以带来许多好处:如减少了数据的冗余度,从而大大地节省了数据的存储空间,实现数据资源的充分共享等等。此外,数据库技术还为用户提供了非常简便的使用手段,使用户易于编写有关数据库应用程序。特别是近年来推出的计算机关系数据库管理系统,操作直观,使用灵活,编程方便,功能强大,环境适应广泛,数据处理能力极强。

数据库的设计是指对一个给定的应用环境,构造数据库模式,建立数据库及其应用系统,满足各种用户需求。作为信息资源开发、管理和服务的一种有效的手段,数据库技术的应用已越来越广泛,从小型的单项事务处理系统到大型的信息系统大都用先进的数据库技术来保持系统数据的安全性、完整性和共享性。对一个实际的系统来说,数据库表的设计在遵循数据库理论的同时,必须能用开发工具来实现用户在各方面提出的功能要求。

一个真正的、完整的站点是离不开数据库的,因为少量的数据,如网页访问人数等完全可以存储在文本文件中,但实际应用中,需要保存的数据远不止这一点点,而且这些数据之间往往还有关联,利用数据库来管理这些数据,可以很方便的查询和更新。可以说一个动态网站的建设是离不开一个设计最优的数据库的。

4 数据库加密功能

一个网站数据库的保密性是很值得考虑的问题,在这里提供三种数据库保密方法。

4.1 修改数据库的后缀名

修改数据库的后缀名为.asp放在网站的根目录下,当然cnn.asp中的数据库连接代码也得相应的修改:

这样别人很难找到你的数据库文件,即便找到了除非他知道改后缀名,否则打开也是一堆asp代码,而不是数据库信息。

4.2 利用Access自带的掩码来保密

不过这种方法的保密性较差,稍微懂些Access的人便能破解。

4.3 利用加密函数

这种方法的保密性最强,它是利用一段asp代码建立一个加密函数,将需要加密的地方加密后再传给数据库,下面以具体实例来介绍。

利用MD5来实现对数据加密。它的作用是让大容量信息在用数字签名软件签署私人密匙前被"压缩"成一种保密的格式(就是把一个任意长度的字节串变换成一定长的大整数)。

例如,当用户登录的时候,系统把用户输入的密码计算成md5值,然后再去和保存在文件系统中的md5值进行比较,进而确定输入的密码是否正确。通过这样的步骤,系统在并不知道用户密码的明码的情况下就可以确定用户登录系统的合法性。这不但可以避免用户的密码被具有系统管理员权限的用户知道,而且还在一定程度上增加了密码被破解的难度。

对MD5算法简要的叙述可以为:MD5以512位分组来处理输入的信息,且每一分组又被划分为16个32位子分组,经过了一系列的处理后,算法的输出由四个32位分组组成,将这四个32位分组级联后将生成一个128位散列值。

在MD5算法中,首先需要对信息进行填充,使其字节长度对512求余的结果等于448。因此,信息的字节长度(Bits Length)将被扩展至N*512+448,即N*64+56个字节(Bytes),N为一个正整数。填充的方法如下,在信息的后面填充一个1和无数个0,直到满足上面的条件时才停止用0对信息的填充。然后,在在这个结果后面附加一个以64位二进制表示的填充前信息长度。经过这两步的处理,现在的信息字节长度=N*512+448+64=(N+1)*512,即长度恰好是512的整数倍。这样做的原因是为满足后面处理中对信息长度的要求。

MD5中有四个32位被称作链接变量(Chaining Variable)的整数参数,他们分别为:A=0x01234567,B=0x89abcdef,C=0xfedc-ba98,D=0x76543210。

当设置好这四个链接变量后,就开始进入算法的四轮循环运算。循环的次数是信息中512位信息分组的数目。将上面四个链接变量复制到另外四个变量中:A到a,B到b,C到c,D到d。

主循环有四轮,每轮循环都很相似。第一轮进行16次操作。每次操作对a、b、c和d中的其中三个作一次非线性函数运算,然后将所得结果加上第四个变量,文本的一个子分组和一个常数。再将所得结果向右环移一个不定的数,并加上a、b、c或d中之一。最后用该结果取代a、b、c或d中之一。

以一下是每次操作中用到的四个非线性函数(每轮一个)。

这四个函数的说明:如果X、Y和Z的对应位是独立和均匀的,那么结果的每一位也应是独立和均匀的。

F是一个逐位运算的函数。即,如果X,那么Y,否则Z。函数H是逐位奇偶操作符。

四轮循环的具体方法如下:

第一轮:

第二轮:

第三轮:

第四轮:

系统管理员进入管理员操作界面可以进行添加管理员的操作,如图1所示。

当添加管理员时,会对用户密码1进行编码,并将编码后的加密码写入数据库,如图2所示。

5 解决asp程序无法更新access数据库内容的方法

数据库不能更新的问题,相信有时在这台电脑上弄的好好的,为什么到其他电脑上浏览系统就出现数据库不能更新的错误,下面就说说如何更改数据库用户访问权限。

如何更改数据库用户操作权限,让asp程序可以任意摆布数据库内容。有很多数据库生成之后它的默认管理权限只属于管理员,即当前的计算机用户,以计算机装的是xp系统为例,装机完成后设置了用户帐号,例如crystal,是管理员,在打开access数据库操作时一切正常,可以进行任何操作,但是一旦用asp程序连接数据库进行更新操作时总会提示“没有足够的权限更新数据,操作没有成功”这是为什么呢?IIS的设置是正常的。

原来运行IIS后,浏览本机网站所用的默认访问帐户是isur_***,***指本机计算机名称,这点大家都知道的。现在没有权限更新数据库的帐户就应该是isur_***了,那么怎样在数据库的用户权限中加入isur_***呢,在access中试了很多种方法,都没有成功,数据库的使用权限只属于管理员,就是说isur_***不是管理员,所以通过asp程序只可以查询,但没有权利更改数据,原因终于找到了,现在就应该着手更改isur_***这个帐户的等级了,只要把它加入到管理员行列,那么一切问题都迎刃而解了。

打开“控制面版”->“管理工具”->“计算机管理”,打开计算机管理窗口,在系统工具目录树中选择本地用户和组进入,单击用户文件夹,现在可以在右边的空白处看到本机所有的用户帐号了,包括:Administrator,guest,iusr_***,mickey,trigon,还有其他,在这里可以给它们更名,你可以把iusr_***改成其他的名字,比如:bbukey,这样在IIS中设置匿名访问用户名为bbukey之后,重启,服务器就比以前安全了许多。

双击iusr_***进入它的属性窗口,选择“隶属于”选项页,可以看到它是只隶属于guests的,当然用这个帐号就没有权限更改数据库的数据,那么就来把它加入到管理员行列,单击添加按纽,再在弹出的窗口中单击高级按纽,选择立即查找,选中Administrator,单击确定按纽即可,保存之后重新启动计算机,再运行网站,整个数据库就任你摆布了。

6 数据库设计注意事项

(1)由于数据库的基本表之间没有建立外键关系,因此对数据库的操作一旦涉及其他表,则应用SQL语言来完成更改,以保持数据的一致性;

(2)数据查询功能时要先选择查询表格,对表格进行浏览,再选择查询条件来确定所要查询的内容,按增加按钮将查询条件显示到条件编辑框中,在输入最后一个条件时,逻辑值应为空;

(3)数据库维护模块的实现时,应注意对数据库的备份和恢复其实都是把数据库当成文件来拷贝。所以在对数据库进行拷贝之前须将系统与数据库先断开,在此期间不允许对数据库有任何操作,拷贝操作后再将系统与数据库连上。

7 结束语

随着计算机在社会各个领域的广泛应用和迅速普及,人类社会业已步入信息时代,信息已经成为了人类的一种重要资源,人们生产和生活的质量将愈来愈多的取决于对知识信息的掌握和运用程度,面对汪洋大海般的信息,计算机成为了信息处理必不可少的工具,在计算机系统中,信息是指存储于计算机及其外部设备上的程序和数据,由于计算机系统中的信息涉及到有关国家安全的政治、经济、军事的情况以及一些部门、机构、组织与个人的机密问题,因此极易受到敌对势力以及一些非法用户、别有用心者的威胁和攻击。加之几乎所有的计算机系统都存在着不同程度的安全隐患,延伸到个人信息的安全,数据库安全问题越来越受到人们的重视。

参考文献

[1]宋红,吴建军,岳俊梅.计算机安全技术[M].北京:中国铁道出版社,2003.

[2]塞奎春.信息系统开发实例精选[M].北京:机械工业出版社.2006.

[3]Michael E.Whitman,Herbert J.Mattord.Principles of Information Security(信息安全原理)[M].北京:清华大学出版社,2004.

[4]Cheswick,William R.and Steven M.Bellovin.Firewalls and Internet Security:Repelling the Wily Hacker,1995.

[5]牛少彰.信息安全概论[M].北京:北京邮电大学出版社,2004.

[6]钟义信.信息科学原理(第三版)[M].北京:北京邮电大学出版社,2002.

[7]杨义先,孙伟.现代密码学新理论[M].北京:科学出版社,2002.

[8]袁津生.计算机网络安全基础[M].北京:人民邮电出版社,2002.