当前位置: 首页 > 服务器 > 热点技术 > 云计算 > 云计算中数据采集管道是整个远程监控解决方案体系的重点

云计算中数据采集管道是整个远程监控解决方案体系的重点

2013-08-13 08:45 来源:风信网 作者:末信 人气指数: 我要评论

数据采集​​管道是远程监控解决方案的核心所在,后者是 Windows Azure 中云服务基础项目的一部分。该管道是 Wiki 系列中第三篇文章的主题。它在解决方案中的角色是从各个存储库中提取不同的信息并将其聚合到一个关系数据库。之后可以将该数据库用于关联和分析捕获指标的长期趋势、深入到具体问题和事件,以及订阅预定义和动态报表与仪表板(但是别急,这将是我们下一篇文章的主题)。以下是一些可以通过该管道调查的示例问题,“客户报告性能下降时,我的应用程序组件出现了什么状况?”或“应用程序在 UTC 时间上午 12 点至下午 1 点之间产生超时错误时,我的数据层发生了什么变化?”这些问题正是我们希望我们的端到端远程监控解方案能够解决的。

云计算中数据采集​​管道是整个远程监控解决方案体系的重点

1 - 数据采集​​管道是整个远程监控解决方案体系结构中的重点

从体系结构的角度来看,我们可以将数据采集管道的设计细分为三个主要部分:

  1. 一个执行导入和转换任务的可配置计划程序引擎。
  2. 一组查询各种信息源、应用一些转换逻辑并将结果推送到集中存储库的可扩展任务。
  3. 一个将这些数据存储在常规关系架构中的 Windows Azure SQL 数据库实例,可用于执行分析查询并提取有意义的信息。

实施计划程序引擎时,我们决定采用“拉”的机制,按一定的时间间隔查询各种数据源。采用这一方法而非更复杂的“推”和“流化”方法的原因有很多。主要原因是,数据已经存储在中间库中,如 Windows Azure 存储(存储 Windows Azure Diagnostics 生成的信息)或 Windows Azure SQL 数据库内部数据结构(存储动态管理视图)。我们对实时持续分析没有严格的要求,我们也希望将实施过程尽量简化。在当前版本中,我们的计划程序作为 Windows Azure worker role 进行实施,它可以从托管在 Windows Azure 存储 Blob 容器中的 XML 文件读取其配置。该文件定义了要执行的计划作业的数量和类型及其执行频率,以及各数据源和目标位置的所有配置选项与连接字符串。可以随时更改配置文件,即添加或删除任务或更改特定配置,worker role 将使用更新后的文件开始执行。我们多次运行了此计划程序组件的生产部署,与客户及合作伙伴一起监控其解决方案。我们发现,用一个“小型”VM部署此 worker role足以处理数百个目标计算实例和数据库。

我们还实施了连接到两个主要诊断源系列的多个导入任务:

  • Windows Azure Diagnostics (WAD) 生成的数据
  • 通过 DMV 提供的 Windows Azure SQL 数据库内部状态

由于 WAD 将大多数信息存储在 Windows Azure 存储表中,因此许多导入任务都非常相似。它们主要使用Windows Azure Storage Client Library v2.0, 在给定时间范围(从开始日期到结束日期)内查询源表、应用一些即时筛选器(例如关键事件或错误事件)、重新动态设定或转换数据行的格式,并将新信息批量复制到目标数据库。此类信息包括 Windows Azure 计算节点性能计数器、Windows 事件日志和跟踪日志,等等。更加复杂的实施涉及通过 WAD 收集所有 Web role 中的 IIS 日志,这些日志存储在以特定结构组织的 Blob 容器中。为此,我们首先必须查询表(其中包含对在特定时间范围内生成的所有日志文件的引用),然后在 worker role 本地存储中下载这些 IIS 日志文件以分析和提取有意义的信息,如网页和 API 响应时间。

对于 SQL 数据库实例,我们需创建具体的导入任务,用于跨所有目标数据库查询公共可用的 DMV(使用并行扇出库),并提取各种有用信息,包括从查询和请求统计数据到连接错误、缺少的索引以及数据库大小。

作为未来改进,我们正在考虑添加 Windows Azure 存储分析和缓存的诊断信息。

所有此类诊断信息之后会使用基于时间的通用键定义,存储在单独的关系架构中(同样托管在 SQL 数据库中),且已针对时间间隔查询进行优化。这样做的原因很简单,即您很可能会使用此信息来调查特定事件或了解随时间变化的趋势。

我之前曾提到,在下一篇文章中,我们将说明如何从 OpsStatsDB 中查询和提取感兴趣的信息,并将重点介绍表值函数 (TVF) 层。我们创建这些 TVF 是为了使用 Excel 来简化即席报表的实施。我们还研究了一组随云服务基础代码包提供的 Windows Azure SQL Reporting Services 报告和仪表板。

您可在云服务基础 TechNet Wiki 登录页面上找到整个系列。

大家感兴趣的内容
小伙伴最爱的新闻
小伙伴还关注了以下信息
小伙伴关注的焦点

小伙伴都在关注的热门词

芈月传 老司机玩法 萌乐网 黑科技 坐骑揭秘 三国令 铁血皇城 竞技场攻略 书剑恩仇录 披风玩法 装备强化攻略 野外BOSS玩法 全网曝光 赤壁传说 半回合制国 ACT 哥们网 天书世界 奇珍商城 热血战歌 传奇宝藏抽奖 门徒 范伟打天下 打开方式 门徒获取玩法 三大萌宠简介 新手攻略 挂机系统简介 材料副本 大海战 鸵鸟 大黑 激情玩法 门徒战力提升 万世 强化属性 上古降魔 提升战力 装备攻略 九阴绝学 品质推荐 老干妈 激战来袭 大黑游戏 新服亮点 福利多多 画江山 资料片 玩家 九阴真经 江湖儿女 真实场景 现实 虚拟 随机副本 风色轨迹 听天由命 ppwan 神助攻 武林秘药 激活八大脉门 九天劫变 猎命格 天问 大型PVP 花千骨 激战更尽兴 网易mumu 手游玩家 安卓模拟器 安卓 单挑群战 武侠传说 女神 孙尚香专访 胸猛抱团 新游 占山为王 跨服城战 蜀山战纪 剑雨江湖 攻略 实时VR交互 七大女神代言 酷炫走江湖 世界四大杀手 玩家专访 三国经典 大制作 好玩网页游戏 盘点 宇宙霸主 境界玩法 莽荒纪 勇闯难关 镜像副本 荒漠霸主 装备精通 三大战役 鹌小彦奇谈