大数据

大数据

如何管理大数据

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 139 次浏览 • 2017-08-18 18:15 • 来自相关话题

随着应用BI系统的广泛应用,数据治理的话题也越来越受到企业的关注和讨论,有专家表示,如果想让用户进入真正的商业智能时代,就必须建立一定的数据治理体系;而大数据治理能够在短期内成为业内的焦点,这和企业对大数据质量的理解和密切关注有很大关系。

大数据治理面临的挑战:规模庞大,标准不一

过去几年,企业的IT系统经历了数据量高速膨胀的一个时期,这些海量的,分散在不同服务器的数据提高了数据资源利用的复杂性和管理难度;另外,各个企业内部的业务区分和行政区分也对企业数据的交互造成了一定的断层,而企业与外部业务交互所产生的“体外循环”数据与企业的核心数据体系并不能自然地融合。当这种数据的异构化所导致的应用冲突达到一定临界点时,数据治理便成为了规范企业数据的必要步骤。

大数据治理技术:主题众多,元数据管理先行

数据治理涉及的IT技术主题众多,包括元数据管理、主数据管理、数据质量、数据集成、监控与报告等。在很多国际企业中,元数据管理的重要性在全部技术主题中位列第一。

元数据管理是语义工具,其重要性在于,它能够为数据治理建立一套数据资料库,存储治理范围内的数据定义,负责人,来源,转换关系,目标,质量等级,依赖关系,安全权限等。这些信息对于商业整合,数据质量,可审计性等数据治理目标的实现至关重要。

元数据管理是实施数据治理的核心IT技术,有效的元数据管理将为数据质量、数据集成等技术的实施,以及数据治理目标的最终实现奠定坚实的基础。

大数据治理的意义:发掘数据资产的商业价值

大数据治理是为了将数据作为企业商业资产进行应用和管理的一套数据管理机制,能够通过建立规范的数据应用标准,消除数据的不一致性,来提高数据的质量,并能合理的将数据应用于企业的业务管理和战略决策中,充分的发挥数据的商业价值,良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。
 
了解更多大数据相关知识请进入OTPUB官网:www.otpub.com 查看全部
随着应用BI系统的广泛应用,数据治理的话题也越来越受到企业的关注和讨论,有专家表示,如果想让用户进入真正的商业智能时代,就必须建立一定的数据治理体系;而大数据治理能够在短期内成为业内的焦点,这和企业对大数据质量的理解和密切关注有很大关系。

大数据治理面临的挑战:规模庞大,标准不一

过去几年,企业的IT系统经历了数据量高速膨胀的一个时期,这些海量的,分散在不同服务器的数据提高了数据资源利用的复杂性和管理难度;另外,各个企业内部的业务区分和行政区分也对企业数据的交互造成了一定的断层,而企业与外部业务交互所产生的“体外循环”数据与企业的核心数据体系并不能自然地融合。当这种数据的异构化所导致的应用冲突达到一定临界点时,数据治理便成为了规范企业数据的必要步骤。

大数据治理技术:主题众多,元数据管理先行

数据治理涉及的IT技术主题众多,包括元数据管理、主数据管理、数据质量、数据集成、监控与报告等。在很多国际企业中,元数据管理的重要性在全部技术主题中位列第一。

元数据管理是语义工具,其重要性在于,它能够为数据治理建立一套数据资料库,存储治理范围内的数据定义,负责人,来源,转换关系,目标,质量等级,依赖关系,安全权限等。这些信息对于商业整合,数据质量,可审计性等数据治理目标的实现至关重要。

元数据管理是实施数据治理的核心IT技术,有效的元数据管理将为数据质量、数据集成等技术的实施,以及数据治理目标的最终实现奠定坚实的基础。

大数据治理的意义:发掘数据资产的商业价值

大数据治理是为了将数据作为企业商业资产进行应用和管理的一套数据管理机制,能够通过建立规范的数据应用标准,消除数据的不一致性,来提高数据的质量,并能合理的将数据应用于企业的业务管理和战略决策中,充分的发挥数据的商业价值,良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。
 
了解更多大数据相关知识请进入OTPUB官网:www.otpub.com

​大数据与商业智能BI的关系密不可分

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 252 次浏览 • 2017-06-20 16:33 • 来自相关话题

大数据应用的数据来源,主要是包括非机构化的数据、各种系统数据、数据库数据等。而BI大数据应用则是在数据集成方面的技术更加成熟,对于数据的提取和挖掘方面的要求来说,数据集成平台会帮助企业实现数据的流通和交互使用,而企业内部部署BI应用就是为了更好的分享和使用数据。






大数据对于传统BI,既有继承,也有发展;BI与大数据区别在于前者更倾向于决策,对事实描述更多是基于群体共性,帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题,大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策。
BI的发展要从传统的商务智能模式开始转换,对于企业来说,BI不仅仅是一个IT项目,更是一种管理和思维的方式,从技术的部署到业务的流程规划,BI迎来新的发展。对于大数据来说,现阶段更多的大数据关注在非结构化数据,不同的数据分析工具的出现和行内的应用范围不断的加大,对于大数据应用来说,怎么与应用的行业进行一个深层次的结合才是最重要的。

更多关于大数据的知识请关注OTPUB《大数据论坛》
OTpub,专业的IT学习直播平台:www.otpub.com
  查看全部
大数据应用的数据来源,主要是包括非机构化的数据、各种系统数据、数据库数据等。而BI大数据应用则是在数据集成方面的技术更加成熟,对于数据的提取和挖掘方面的要求来说,数据集成平台会帮助企业实现数据的流通和交互使用,而企业内部部署BI应用就是为了更好的分享和使用数据。

大数据与商业智能BI的关系密不可分.jpg


大数据对于传统BI,既有继承,也有发展;BI与大数据区别在于前者更倾向于决策,对事实描述更多是基于群体共性,帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题,大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策。
BI的发展要从传统的商务智能模式开始转换,对于企业来说,BI不仅仅是一个IT项目,更是一种管理和思维的方式,从技术的部署到业务的流程规划,BI迎来新的发展。对于大数据来说,现阶段更多的大数据关注在非结构化数据,不同的数据分析工具的出现和行内的应用范围不断的加大,对于大数据应用来说,怎么与应用的行业进行一个深层次的结合才是最重要的。

更多关于大数据的知识请关注OTPUB《大数据论坛
OTpub,专业的IT学习直播平台:www.otpub.com
 

【直播预告】告别平庸,数据时代就要不一样!

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 187 次浏览 • 2017-06-05 15:44 • 来自相关话题

大数据时代,数据分析对于业务决策的帮助越来越大,它帮助企业中的业务人员在保证数据时效性的前提下,通过自助式数据分析,帮助企业从上到下实现数据化运营。
那么,我们的数据来源于何处呢?流程数据、机器生成数据,当然还有我们产生的数据,因此,无论是从市场环境还是评测机构报告来看,大数据时代已经启动,数据分析也更为重要。

传统报表
无交互、格式固定、实施缓慢






蜕变后的报表
可交互、生成快、可分享






让数据生动起来,左右逢源?Tableau都能帮您实现!

Tableau 整合了您的数据架构,让您用能理解的方式从视觉上分析您的数据。

 Tableau Server
可提供基于浏览器和移动分析的商业智能应用程序。无需编程,即可创建报告和仪表板。






 Tableau Desktop
实时可视化分析实现随心所欲的数据探索,交互式仪表板帮助用户即时发现隐藏的见解。






想深入了解Tableau
机会来了
6月6日14 : 00
“人人都是数据分析师”
直播活动即将开启
技术大神亲授数据分析大法

讲师介绍
林旭
从事Tableau售前工作
通过Tableau银牌和QA等级认证


活动日程
14 : 00-14 : 10 讲师介绍
14 : 10-14 : 30 Tableau如何让数据生动起来
14 : 30-15 : 40 Tableau功能展示及使用技巧
15 : 40-16 : 00 互动答疑
 
点击此处报名观看直播>>> 查看全部
大数据时代,数据分析对于业务决策的帮助越来越大,它帮助企业中的业务人员在保证数据时效性的前提下,通过自助式数据分析,帮助企业从上到下实现数据化运营。
那么,我们的数据来源于何处呢?流程数据、机器生成数据,当然还有我们产生的数据,因此,无论是从市场环境还是评测机构报告来看,大数据时代已经启动,数据分析也更为重要。

传统报表
无交互、格式固定、实施缓慢

【直播预告】告别平庸,数据时代就要不一样!.webp_.jpg


蜕变后的报表
可交互、生成快、可分享

【直播预告】告别平庸,数据时代就要不一样!2.webp_.jpg


让数据生动起来,左右逢源?Tableau都能帮您实现!

Tableau 整合了您的数据架构,让您用能理解的方式从视觉上分析您的数据。

 Tableau Server
可提供基于浏览器和移动分析的商业智能应用程序。无需编程,即可创建报告和仪表板。

【直播预告】告别平庸,数据时代就要不一样!3.webp_.jpg


 Tableau Desktop
实时可视化分析实现随心所欲的数据探索,交互式仪表板帮助用户即时发现隐藏的见解。

【直播预告】告别平庸,数据时代就要不一样!4.webp_.jpg


想深入了解Tableau
机会来了
6月6日14 : 00
“人人都是数据分析师”
直播活动即将开启
技术大神亲授数据分析大法


讲师介绍
林旭
从事Tableau售前工作
通过Tableau银牌和QA等级认证


活动日程
14 : 00-14 : 10 讲师介绍
14 : 10-14 : 30 Tableau如何让数据生动起来
14 : 30-15 : 40 Tableau功能展示及使用技巧
15 : 40-16 : 00 互动答疑
 
点击此处报名观看直播>>>

​选择云服务器的小窍门有哪些?

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 232 次浏览 • 2017-05-15 14:59 • 来自相关话题

OTPUB直播活动又双叒叕来喽!
直播主题
老板等等,微软专家找你聊转型!
直播时间
2017年5月16日 14:00-15:00

点击报名>>>
云计算,将云服务器待到了聚光灯下。但选择云服务器是件很困难的事,因为云平台的功能都相差无几。我们货比三家时,建议从细节入手,综合考量,只选对的,不选贵的,选择适配业务需求的云服务器。那么选择云服务器的小窍门有哪些呢?
一、谨记自身需求
云服务器归根到底是为你的业务服务的,因此首先需要明确你对云服务器的需求,比较并评估各种功能,例如虚拟化功能、网络隔离和root权限隔离等。要留意管理和监控处理器、内存、磁盘I/O性能、存储限制等资源管理的功能。确定某个平台能够满足你企业的具体标准之后,再评估成本。
二、网络线路,建议选双线或多线
根据数据中心接入的网络线路,国内云服务器提供电信、联通等单线/双线带宽。建议选择双线。即使你的业务主要面向本地客户群也是如此。因为本地客户的宽带使用状况也不统一,即使中国北方地区也有大量的电信用户。为满足不同网络运营商客户的访问需求,建议选择双线双IP。
三、推荐香港节点
根据部署区域的差异,很多服务商提供国内、香港、韩国、美国等多样化的节点供你选择。国内节点必须备案,美国云服务器连接中国速度慢,因此如果你的业务面向亚太区客户群,个人推荐香港节点。香港节点,一般采用BGP国际多线,支持中国大陆和亚太区极速访问,且大陆南北地区均享高速。更重要的是,香港云服务器免备案,即开即用,你的业务可以最快速度上线,抢占市场先机。如果你的客户群主要分布在北美和欧洲,建议使用美国云服务器。
云服务器
四、云服务器性能测试
选购云服务器前,建议通过性能测试感知云服务器的性能表现(一般很多云服务商都提供测试机型、免费试用、3天无条件退款等,这些都可用于性能测试)。通过对测试IP进行ping、Tracert路由追踪、网站测速工具等可初步把握云服务器的网络连接速度和质量。通过HD Tune等工具测试磁盘性能等。总之,我们需要对云服务器的稳定性、网络稳定性以及软件兼容性等主要方面进行测试,包括云服务器是否宕机、损坏数据恢复能力、是否具备入侵攻击防护、网络延迟和丢包率、软件安装和运行是否正常、软件数据是否兼容等。
以上就是选择云服务器时的小窍门,希望对你有所帮助。最后,我们还要提醒云服务器用户,虽然云服务器拥有多重数据副本、快照备份等机制,但传统的定期本地备份习惯我们也不能丢弃。因为再稳定的云平台也无法保证100%无故障,一旦云平台基础架构出现故障,后果可能是毁灭性的,做好自身网站数据备份并下载到本地保存,是保护我们努力成果的应尽之责,也是防止关键业务数据丢失的最后一道防线。 查看全部
OTPUB直播活动又双叒叕来喽!
直播主题
老板等等,微软专家找你聊转型!
直播时间
2017年5月16日 14:00-15:00

点击报名>>>
云计算,将云服务器待到了聚光灯下。但选择云服务器是件很困难的事,因为云平台的功能都相差无几。我们货比三家时,建议从细节入手,综合考量,只选对的,不选贵的,选择适配业务需求的云服务器。那么选择云服务器的小窍门有哪些呢?
一、谨记自身需求
云服务器归根到底是为你的业务服务的,因此首先需要明确你对云服务器的需求,比较并评估各种功能,例如虚拟化功能、网络隔离和root权限隔离等。要留意管理和监控处理器、内存、磁盘I/O性能、存储限制等资源管理的功能。确定某个平台能够满足你企业的具体标准之后,再评估成本。
二、网络线路,建议选双线或多线
根据数据中心接入的网络线路,国内云服务器提供电信、联通等单线/双线带宽。建议选择双线。即使你的业务主要面向本地客户群也是如此。因为本地客户的宽带使用状况也不统一,即使中国北方地区也有大量的电信用户。为满足不同网络运营商客户的访问需求,建议选择双线双IP。
三、推荐香港节点
根据部署区域的差异,很多服务商提供国内、香港、韩国、美国等多样化的节点供你选择。国内节点必须备案,美国云服务器连接中国速度慢,因此如果你的业务面向亚太区客户群,个人推荐香港节点。香港节点,一般采用BGP国际多线,支持中国大陆和亚太区极速访问,且大陆南北地区均享高速。更重要的是,香港云服务器免备案,即开即用,你的业务可以最快速度上线,抢占市场先机。如果你的客户群主要分布在北美和欧洲,建议使用美国云服务器。
云服务器
四、云服务器性能测试
选购云服务器前,建议通过性能测试感知云服务器的性能表现(一般很多云服务商都提供测试机型、免费试用、3天无条件退款等,这些都可用于性能测试)。通过对测试IP进行ping、Tracert路由追踪、网站测速工具等可初步把握云服务器的网络连接速度和质量。通过HD Tune等工具测试磁盘性能等。总之,我们需要对云服务器的稳定性、网络稳定性以及软件兼容性等主要方面进行测试,包括云服务器是否宕机、损坏数据恢复能力、是否具备入侵攻击防护、网络延迟和丢包率、软件安装和运行是否正常、软件数据是否兼容等。
以上就是选择云服务器时的小窍门,希望对你有所帮助。最后,我们还要提醒云服务器用户,虽然云服务器拥有多重数据副本、快照备份等机制,但传统的定期本地备份习惯我们也不能丢弃。因为再稳定的云平台也无法保证100%无故障,一旦云平台基础架构出现故障,后果可能是毁灭性的,做好自身网站数据备份并下载到本地保存,是保护我们努力成果的应尽之责,也是防止关键业务数据丢失的最后一道防线。

企业级管理及项目管理软件的发展趋势

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 271 次浏览 • 2017-04-24 15:35 • 来自相关话题

OTPUB直播活动又双叒叕来喽!

直播主题

Excel的“天上人间”-“出台”到PPT的动态图表

直播时间

2017年4月25日 14:00-15:00
点击报名观看>>>


发展才是硬道理,企业中的各种制度目的终为了企业发展。在过去,我们总是在强调制度,由于企业是一个复杂的系统,企业的管理制度也必然是一个复杂的系统。任何一个制度的实施,都有可能由于相关方面制度的不完善或缺失而造成负面的影响。因此管理制度本身应该是完善的,涵盖企业管理系统的方方面面,并且随着企业内外环境的变化,不断地加以补充、修订和加强。
企业级管理及项目管理软件的发展趋势
经过数年的发展建设,企业信息化从部门级初步应用如办公、财务、人力等进入流程为中心的一体化管理模式,为提升企业管理效率的企业级。移动互联网、云计算发展迅速,企业管理在技术上也推行革新。很多企业借助科技发展带来的便利,随着大数据、商业智能、云计算这些技术而来,企业管理软件发展是这样的…
1、 一体化管理模式。企业管理系统是新的工作管理方式。互联网企业对软件、硬件、数据、计算等资源需求强烈。智能化的管理提供更多机会,相比传统的企业管理方案,一体化管理带来更完整的架构。
2、移动办公成主流。智能手机推动移动办公,手机、平板灯设备记录工作、管理工作流程越来越常见,经常外出的工作人员就可以方便使用。
3、个性化的管理定制。随着市场的发展变化,企业对管理方式的智能和个性化需求也凸显出来。根据不同的管理要求,可以通过自主灵活的定制功能来解决难题。
智能化企业管理服务的发展,让企业能够具备更快速的反应能力、打造更简洁的业务流程,强化了企业应对复杂环境的核心竞争力。而一体化管理模式将促进企业管理生态的形成和发展,通过一个系统能够快速调动各资源彼此配合,形成网状的交互生态圈,信息的实时共享大大提升了数据的安全性和可控度,为企业的信息化提供强有力的支撑。
关于项目管理软件
如今,项目管理备受重视,原因是项目管理在运筹与协同方面的方式方法恰好填充了其它管理体系或管理系统这方面的相对弱项;PMI的PMBOK或IPMA的ICB等关于项目管理的理论体系日臻完善,并在全球范围内展开几近商业性质的普及推广;项目管理软件软件功能及演绎理论能力的不断提高,使项目管理从理论走向实际实施进而发挥效益成为现实;引导企业管理风向标的跨国公司纷纷开始在企业中采用项目管理技术和项目管理解决方案,初步形成了企业项目管理化的局面。
随着越来越多的企业或组织对项目管理方法和技术的引入,以及大家对项目管理理解的深入,因此未来的项目管理软件市场的发展是机遇和挑战同时并存的。 用户的需求对于未来的企业级项目管理软件所采用技术也提出了更高的要求,如大数据量存储、大用户量并发访问、企业多分支机构的支持、大用户量的系统维护、系统的可扩展性/可集成性/可定制性等等。
由于国内项目管理软件开发起步较晚,涉足开发企业级项目管理软件的企业也微乎其微,目前国内企业级项目管理软件高端市场几乎由国外厂商垄断。
未来,企业级项目管理软件发展将会:1、通用型项目管理解决方案;2、IT项目管理解决方案;3、大核心功能实现度解决方案…,如今市场前景比较广阔,产品的先进性是重要的,但是满足不同层次客户的需求也是及其重要的。伴随着项目管理在中国的迅猛发展,客户对项目管理的理性认识,以及项目管理软件厂商对项目管理先进理念和方法的倡导,谁会是最后的赢家?是厂商、是客户、还是专业的咨询/服务公司?请拭目以待... 查看全部
OTPUB直播活动又双叒叕来喽!

直播主题

Excel的“天上人间”-“出台”到PPT的动态图表

直播时间

2017年4月25日 14:00-15:00
点击报名观看>>>


发展才是硬道理,企业中的各种制度目的终为了企业发展。在过去,我们总是在强调制度,由于企业是一个复杂的系统,企业的管理制度也必然是一个复杂的系统。任何一个制度的实施,都有可能由于相关方面制度的不完善或缺失而造成负面的影响。因此管理制度本身应该是完善的,涵盖企业管理系统的方方面面,并且随着企业内外环境的变化,不断地加以补充、修订和加强。
企业级管理及项目管理软件的发展趋势
经过数年的发展建设,企业信息化从部门级初步应用如办公、财务、人力等进入流程为中心的一体化管理模式,为提升企业管理效率的企业级。移动互联网、云计算发展迅速,企业管理在技术上也推行革新。很多企业借助科技发展带来的便利,随着大数据、商业智能、云计算这些技术而来,企业管理软件发展是这样的…
1、 一体化管理模式。企业管理系统是新的工作管理方式。互联网企业对软件、硬件、数据、计算等资源需求强烈。智能化的管理提供更多机会,相比传统的企业管理方案,一体化管理带来更完整的架构。
2、移动办公成主流。智能手机推动移动办公,手机、平板灯设备记录工作、管理工作流程越来越常见,经常外出的工作人员就可以方便使用。
3、个性化的管理定制。随着市场的发展变化,企业对管理方式的智能和个性化需求也凸显出来。根据不同的管理要求,可以通过自主灵活的定制功能来解决难题。
智能化企业管理服务的发展,让企业能够具备更快速的反应能力、打造更简洁的业务流程,强化了企业应对复杂环境的核心竞争力。而一体化管理模式将促进企业管理生态的形成和发展,通过一个系统能够快速调动各资源彼此配合,形成网状的交互生态圈,信息的实时共享大大提升了数据的安全性和可控度,为企业的信息化提供强有力的支撑。
关于项目管理软件
如今,项目管理备受重视,原因是项目管理在运筹与协同方面的方式方法恰好填充了其它管理体系或管理系统这方面的相对弱项;PMI的PMBOK或IPMA的ICB等关于项目管理的理论体系日臻完善,并在全球范围内展开几近商业性质的普及推广;项目管理软件软件功能及演绎理论能力的不断提高,使项目管理从理论走向实际实施进而发挥效益成为现实;引导企业管理风向标的跨国公司纷纷开始在企业中采用项目管理技术和项目管理解决方案,初步形成了企业项目管理化的局面。
随着越来越多的企业或组织对项目管理方法和技术的引入,以及大家对项目管理理解的深入,因此未来的项目管理软件市场的发展是机遇和挑战同时并存的。 用户的需求对于未来的企业级项目管理软件所采用技术也提出了更高的要求,如大数据量存储、大用户量并发访问、企业多分支机构的支持、大用户量的系统维护、系统的可扩展性/可集成性/可定制性等等。
由于国内项目管理软件开发起步较晚,涉足开发企业级项目管理软件的企业也微乎其微,目前国内企业级项目管理软件高端市场几乎由国外厂商垄断。
未来,企业级项目管理软件发展将会:1、通用型项目管理解决方案;2、IT项目管理解决方案;3、大核心功能实现度解决方案…,如今市场前景比较广阔,产品的先进性是重要的,但是满足不同层次客户的需求也是及其重要的。伴随着项目管理在中国的迅猛发展,客户对项目管理的理性认识,以及项目管理软件厂商对项目管理先进理念和方法的倡导,谁会是最后的赢家?是厂商、是客户、还是专业的咨询/服务公司?请拭目以待...

​部署SaaS向云计算转型 网络安全需先行

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 359 次浏览 • 2017-04-20 16:18 • 来自相关话题

云计算解决方案可让企业快速部署服务以及降低总体拥有成本,这也是为什么首席信息官(CIO)转向软件即服务(SaaS)来提供有效高效服务的原因。
然而,尽管云计算解决方案有很多优势,但企业还必须考虑部署SaaS的安全影响。成功云计算转型的关键是在转移到SaaS解决方案时使用适当的安全控制。
部署SaaS最佳做法
部署SaaS并不会自动保证整体基础设施的安全性,企业应该查看需要保护的服务的安全控制情况。例如,你必须了解针对客户关系管理(CRM)解决方案的攻击的特定后果。同时,你必须确保你的安全信息和事件管理(SIEM)解决方案能够从这个CRM中收集数据。
同样重要的是管理联合身份,因为很多SaaS解决方案要求不同类型的身份验证。强迫用户输入多个密码并不足以构建正确的安全文化。
IT经理通常会基于不现实的战略决策来决定是否部署云计算交付模型。但如果公司决定不允许其员工利用云计算服务,可能为时已晚。云计算服务已经在企业功能中使用,例如很多库使用云端应用程序接口(API),而员工早就开始使用云应用。
复杂的生态系统
云应用的生命周期必须包含动态安全分析,这些应用是复杂生态系统的一部分。它们可能今天很安全,第二天就布满漏洞,这主要取决于生态系统的状态。
企业应该专注于向服务安装安全控制,确保部署这些控制的技术不会依靠交付模型。否则,你可能会被迫部署不是基于战略决策的技术和业务模型,只是为了挽救以前的投资。为内部部署和云服务提供相同的安全控制是良好安全策略的关键因素。
SaaS提供商的责任
应用是恶意攻击者执行网络攻击的窗口,因此,安全应该成为这些应用开发周期的一部分。SaaS提供商需要不断测试他们的产品,并根据安全响应专家制定的流程和最佳做法对漏洞作出响应。
供应商还应该在非常坚实的基础设施即服务(IaaS)以及平台即服务(PaaS)上提供SaaS,最后,SaaS提供商还必须遵守隐私和数据管理法规。
OTPUB直播活动又双叒叕来喽!

直播主题

Excel的“天上人间”-“出台”到PPT的动态图表

直播时间

2017年4月25日 14:00-15:00

点击参与报名>>>
http://www.otpub.com/special/Excel0425/excel0425_baoming.html 查看全部

云计算解决方案可让企业快速部署服务以及降低总体拥有成本,这也是为什么首席信息官(CIO)转向软件即服务(SaaS)来提供有效高效服务的原因。
然而,尽管云计算解决方案有很多优势,但企业还必须考虑部署SaaS的安全影响。成功云计算转型的关键是在转移到SaaS解决方案时使用适当的安全控制。
部署SaaS最佳做法
部署SaaS并不会自动保证整体基础设施的安全性,企业应该查看需要保护的服务的安全控制情况。例如,你必须了解针对客户关系管理(CRM)解决方案的攻击的特定后果。同时,你必须确保你的安全信息和事件管理(SIEM)解决方案能够从这个CRM中收集数据。
同样重要的是管理联合身份,因为很多SaaS解决方案要求不同类型的身份验证。强迫用户输入多个密码并不足以构建正确的安全文化。
IT经理通常会基于不现实的战略决策来决定是否部署云计算交付模型。但如果公司决定不允许其员工利用云计算服务,可能为时已晚。云计算服务已经在企业功能中使用,例如很多库使用云端应用程序接口(API),而员工早就开始使用云应用。
复杂的生态系统
云应用的生命周期必须包含动态安全分析,这些应用是复杂生态系统的一部分。它们可能今天很安全,第二天就布满漏洞,这主要取决于生态系统的状态。
企业应该专注于向服务安装安全控制,确保部署这些控制的技术不会依靠交付模型。否则,你可能会被迫部署不是基于战略决策的技术和业务模型,只是为了挽救以前的投资。为内部部署和云服务提供相同的安全控制是良好安全策略的关键因素。
SaaS提供商的责任
应用是恶意攻击者执行网络攻击的窗口,因此,安全应该成为这些应用开发周期的一部分。SaaS提供商需要不断测试他们的产品,并根据安全响应专家制定的流程和最佳做法对漏洞作出响应。
供应商还应该在非常坚实的基础设施即服务(IaaS)以及平台即服务(PaaS)上提供SaaS,最后,SaaS提供商还必须遵守隐私和数据管理法规。
OTPUB直播活动又双叒叕来喽!

直播主题

Excel的“天上人间”-“出台”到PPT的动态图表

直播时间

2017年4月25日 14:00-15:00

点击参与报名>>>
http://www.otpub.com/special/Excel0425/excel0425_baoming.html

Hadoop环境中管理大数据存储技巧

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 349 次浏览 • 2017-04-12 15:03 • 来自相关话题

Hadoop环境中管理大数据存储八大技巧
目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,下面介绍一下关于Hadoop环境中管理大数据存储技巧。

在现如今,随着IT互联网信息技术的飞速发展和进步。目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,下面介绍一下关于Hadoop环境中管理大数据存储技巧。
1、分布式存储
传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点,同时采用了HDFS文件系统的大规模横向扩展功能。
虽然,通常解决Hadoop管理自身数据低效性的方案是将Hadoop数据存储在SAN上。但这也造成了它自身性能与规模的瓶颈。现在,如果你把所有的数据都通过集中式SAN处理器进行处理,与Hadoop的分布式和并行化特性相悖。你要么针对不同的数据节点管理多个SAN,要么将所有的数据节点都集中到一个SAN。
但Hadoop是一个分布式应用,就应该运行在分布式存储上,这样存储就保留了与Hadoop本身同样的灵活性,不过它也要求拥抱一个软件定义存储方案,并在商用服务器上运行,这相比瓶颈化的Hadoop自然更为高效。
2、超融合VS分布式
注意,不要混淆超融合与分布式。某些超融合方案是分布式存储,但通常这个术语意味着你的应用和存储都保存在同一计算节点上。这是在试图解决数据本地化的问题,但它会造成太多资源争用。这个Hadoop应用和存储平台会争用相同的内存和CPU。Hadoop运行在专有应用层,分布式存储运行在专有存储层这样会更好。之后,利用缓存和分层来解决数据本地化并补偿网络性能损失。
3、避免控制器瓶颈(ControllerChokePoint)
实现目标的一个重要方面就是——避免通过单个点例如一个传统控制器来处理数据。反之,要确保存储平台并行化,性能可以得到显著提升。
此外,这个方案提供了增量扩展性。为数据湖添加功能跟往里面扔x86服务器一样简单。一个分布式存储平台如有需要将自动添加功能并重新调整数据。
4、删重和压缩
掌握大数据的关键是删重和压缩技术。通常大数据集内会有70%到90%的数据简化。以PB容量计,能节约数万美元的磁盘成本。现代平台提供内联(对比后期处理)删重和压缩,大大降低了存储数据所需能力。
5、合并Hadoop发行版
很多大型企业拥有多个Hadoop发行版本。可能是开发者需要或是企业部门已经适应了不同版本。无论如何最终往往要对这些集群的维护与运营。一旦海量数据真正开始影响一家企业时,多个Hadoop发行版存储就会导致低效性。我们可以通过创建一个单一,可删重和压缩的数据湖获取数据效率
6、虚拟化Hadoop
虚拟化已经席卷企业级市场。很多地区超过80%的物理服务器现在是虚拟化的。但也仍有很多企业因为性能和数据本地化问题对虚拟化Hadoop避而不谈。
7、创建弹性数据湖
创建数据湖并不容易,但大数据存储可能会有需求。我们有很多种方法来做这件事,但哪一种是正确的?这个正确的架构应该是一个动态,弹性的数据湖,可以以多种格式(架构化,非结构化,半结构化)存储所有资源的数据。更重要的是,它必须支持应用不在远程资源上而是在本地数据资源上执行。
不幸的是,传统架构和应用(也就是非分布式)并不尽如人意。随着数据集越来越大,将应用迁移到数据不可避免,而因为延迟太长也无法倒置。
理想的数据湖基础架构会实现数据单一副本的存储,而且有应用在单一数据资源上执行,无需迁移数据或制作副本。
8、整合分析
分析并不是一个新功能,它已经在传统RDBMS环境中存在多年。不同的是基于开源应用的出现,以及数据库表单和社交媒体,非结构化数据资源(比如,维基百科)的整合能力。关键在于将多个数据类型和格式整合成一个标准的能力,有利于更轻松和一致地实现可视化与报告制作。合适的工具也对分析/商业智能项目的成功至关重要。
OTPUB直播活动又双叒叕来喽!
直播主题
甲骨文第2代企业级IaaS云技术大会
直播时间
2017年4月13日 9:30-17:30
点击参与报名>>>
 
或者直接进入OTPUB官网
http://www.otpub.com/ 查看全部
Hadoop环境中管理大数据存储八大技巧
目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,下面介绍一下关于Hadoop环境中管理大数据存储技巧。

在现如今,随着IT互联网信息技术的飞速发展和进步。目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,下面介绍一下关于Hadoop环境中管理大数据存储技巧。
1、分布式存储
传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点,同时采用了HDFS文件系统的大规模横向扩展功能。
虽然,通常解决Hadoop管理自身数据低效性的方案是将Hadoop数据存储在SAN上。但这也造成了它自身性能与规模的瓶颈。现在,如果你把所有的数据都通过集中式SAN处理器进行处理,与Hadoop的分布式和并行化特性相悖。你要么针对不同的数据节点管理多个SAN,要么将所有的数据节点都集中到一个SAN。
但Hadoop是一个分布式应用,就应该运行在分布式存储上,这样存储就保留了与Hadoop本身同样的灵活性,不过它也要求拥抱一个软件定义存储方案,并在商用服务器上运行,这相比瓶颈化的Hadoop自然更为高效。
2、超融合VS分布式
注意,不要混淆超融合与分布式。某些超融合方案是分布式存储,但通常这个术语意味着你的应用和存储都保存在同一计算节点上。这是在试图解决数据本地化的问题,但它会造成太多资源争用。这个Hadoop应用和存储平台会争用相同的内存和CPU。Hadoop运行在专有应用层,分布式存储运行在专有存储层这样会更好。之后,利用缓存和分层来解决数据本地化并补偿网络性能损失。
3、避免控制器瓶颈(ControllerChokePoint)
实现目标的一个重要方面就是——避免通过单个点例如一个传统控制器来处理数据。反之,要确保存储平台并行化,性能可以得到显著提升。
此外,这个方案提供了增量扩展性。为数据湖添加功能跟往里面扔x86服务器一样简单。一个分布式存储平台如有需要将自动添加功能并重新调整数据。
4、删重和压缩
掌握大数据的关键是删重和压缩技术。通常大数据集内会有70%到90%的数据简化。以PB容量计,能节约数万美元的磁盘成本。现代平台提供内联(对比后期处理)删重和压缩,大大降低了存储数据所需能力。
5、合并Hadoop发行版
很多大型企业拥有多个Hadoop发行版本。可能是开发者需要或是企业部门已经适应了不同版本。无论如何最终往往要对这些集群的维护与运营。一旦海量数据真正开始影响一家企业时,多个Hadoop发行版存储就会导致低效性。我们可以通过创建一个单一,可删重和压缩的数据湖获取数据效率
6、虚拟化Hadoop
虚拟化已经席卷企业级市场。很多地区超过80%的物理服务器现在是虚拟化的。但也仍有很多企业因为性能和数据本地化问题对虚拟化Hadoop避而不谈。
7、创建弹性数据湖
创建数据湖并不容易,但大数据存储可能会有需求。我们有很多种方法来做这件事,但哪一种是正确的?这个正确的架构应该是一个动态,弹性的数据湖,可以以多种格式(架构化,非结构化,半结构化)存储所有资源的数据。更重要的是,它必须支持应用不在远程资源上而是在本地数据资源上执行。
不幸的是,传统架构和应用(也就是非分布式)并不尽如人意。随着数据集越来越大,将应用迁移到数据不可避免,而因为延迟太长也无法倒置。
理想的数据湖基础架构会实现数据单一副本的存储,而且有应用在单一数据资源上执行,无需迁移数据或制作副本。
8、整合分析
分析并不是一个新功能,它已经在传统RDBMS环境中存在多年。不同的是基于开源应用的出现,以及数据库表单和社交媒体,非结构化数据资源(比如,维基百科)的整合能力。关键在于将多个数据类型和格式整合成一个标准的能力,有利于更轻松和一致地实现可视化与报告制作。合适的工具也对分析/商业智能项目的成功至关重要。
OTPUB直播活动又双叒叕来喽!
直播主题
甲骨文第2代企业级IaaS云技术大会
直播时间
2017年4月13日 9:30-17:30
点击参与报名>>>

 
或者直接进入OTPUB官网
http://www.otpub.com/

云主机IO性能测试报告

大数据/云计算Nock 发表了文章 • 0 个评论 • 511 次浏览 • 2016-12-01 18:49 • 来自相关话题

不同厂商的云主机在性能、设计、操作方面都存在很大的差异化。
 

吐槽云商

1、阿里云 -- 地主黑势力
阿里的包月包年捆绑式销售,创建完成后你不能及时删除释放主机,只能默默的等到期了,记得我第一次使用阿里云的时候,一口气开了10台云主机,后面我发现我不需要这么多,预算出错,但是阿里告诉我的是你人生中只有一次反悔的机会,我只能删掉一台主机。
 
其他的主机我只能等他默认到期了,如果实在没有多大作用我只能浪费我的银两,然后阿里坐收消费,我就当打赏王坚一个小红包了。
 
2、Ucloud -- 清廉百姓官
Ucloud的业务是我最喜欢的,尤其是喜欢他们的服务和UI设计。在国内做市场,我想你最应该的是调研国内技术人员的操作习惯,然后把云产品的使用达到极简、易使用,而不是黑灯找芝麻。在我的心理Ucloud是国内在云主机的操作和体验上给我的感受是最佳的。 还有就是他们的服务,他们可以一对一的帮你解决问题,耐心的解答,没有阿里那财大气粗的蛮横,不会绑架你。
 
3、Azure -- 没长齐毛的鸟
为什么我说Azure是没有长齐毛的鸟,因为他的产品设计还没有完善,操作困难,可能Azure还没有大力投入做中国市场吧,好多功能都依赖于PowerShell去完成操作,比如挂盘、弹性公网ip的绑定申请等,我想说的是我是个运维,脑子里面记了一大堆命令,我使用你们产品,挂个盘你还得让我去记一大堆命令和规则,我疯了。so.......
 
我使用过Ucloud、阿里云、Azure、Google云、AWS等诸多厂商的云产品服务,具体的其他功能我就不一一对比,下面我就介绍一下,我最近做的IO测试几家厂商的报告。
 

IO测试

测试命令如下:
fio -filename=/data/test.out1 -direct=1 -rw=read -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test1

fio -filename=/data/test.out2 -direct=1 -rw=write -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test2

fio -filename=/data/test.out3 -direct=1 -rw=randread -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test3

fio -filename=/data/test.out4 -direct=1 -rw=randwrite -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test4
测试结果如下:
















上面分别是Ucloud、阿里、Azure、谷歌云的IO测试结果。
 

速率测试

测试命令如下:
dd iflag=direct </data/test.out3 >/dev/null bs=16k count=102400
dd oflag=direct </dev/zero >/data/test2 bs=16k count=102400
测试结果如下:




 

总结

废话不多说,以上的测试结果仅供大家参考,新时代的云运维者,必须要有语言基础了,没有语言基础,就算Ucloud的操作再怎么人性化,你也不能自动化,所以从云时代的趋势来看作为运维者掌握一门语言还是很有必要的了。云平台有很多坑,在没有充分了解厂商的情况下,你会发现云时代的运维更难。 查看全部
不同厂商的云主机在性能、设计、操作方面都存在很大的差异化。
 


吐槽云商


1、阿里云 -- 地主黑势力
阿里的包月包年捆绑式销售,创建完成后你不能及时删除释放主机,只能默默的等到期了,记得我第一次使用阿里云的时候,一口气开了10台云主机,后面我发现我不需要这么多,预算出错,但是阿里告诉我的是你人生中只有一次反悔的机会,我只能删掉一台主机。
 
其他的主机我只能等他默认到期了,如果实在没有多大作用我只能浪费我的银两,然后阿里坐收消费,我就当打赏王坚一个小红包了。
 
2、Ucloud -- 清廉百姓官
Ucloud的业务是我最喜欢的,尤其是喜欢他们的服务和UI设计。在国内做市场,我想你最应该的是调研国内技术人员的操作习惯,然后把云产品的使用达到极简、易使用,而不是黑灯找芝麻。在我的心理Ucloud是国内在云主机的操作和体验上给我的感受是最佳的。 还有就是他们的服务,他们可以一对一的帮你解决问题,耐心的解答,没有阿里那财大气粗的蛮横,不会绑架你。
 
3、Azure -- 没长齐毛的鸟
为什么我说Azure是没有长齐毛的鸟,因为他的产品设计还没有完善,操作困难,可能Azure还没有大力投入做中国市场吧,好多功能都依赖于PowerShell去完成操作,比如挂盘、弹性公网ip的绑定申请等,我想说的是我是个运维,脑子里面记了一大堆命令,我使用你们产品,挂个盘你还得让我去记一大堆命令和规则,我疯了。so.......
 
我使用过Ucloud、阿里云、Azure、Google云、AWS等诸多厂商的云产品服务,具体的其他功能我就不一一对比,下面我就介绍一下,我最近做的IO测试几家厂商的报告。
 


IO测试


测试命令如下:
fio -filename=/data/test.out1 -direct=1 -rw=read -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test1

fio -filename=/data/test.out2 -direct=1 -rw=write -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test2

fio -filename=/data/test.out3 -direct=1 -rw=randread -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test3

fio -filename=/data/test.out4 -direct=1 -rw=randwrite -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test4

测试结果如下:
Ucloud.png

ali.png

Azure.png

GoogleCloud.png

上面分别是Ucloud、阿里、Azure、谷歌云的IO测试结果。
 


速率测试


测试命令如下:
dd iflag=direct </data/test.out3 >/dev/null bs=16k count=102400
dd oflag=direct </dev/zero >/data/test2 bs=16k count=102400

测试结果如下:
mancloud.png

 


总结


废话不多说,以上的测试结果仅供大家参考,新时代的云运维者,必须要有语言基础了,没有语言基础,就算Ucloud的操作再怎么人性化,你也不能自动化,所以从云时代的趋势来看作为运维者掌握一门语言还是很有必要的了。云平台有很多坑,在没有充分了解厂商的情况下,你会发现云时代的运维更难。

大数据与物联网

大数据/云计算Nock 发表了文章 • 0 个评论 • 640 次浏览 • 2016-06-05 11:31 • 来自相关话题

物联网是新一代信息技术的重要组成部分,其英文名称是"The Internet of things"。顾名思义,"物联网就是物物相连的互联网"。这有两层意思:
[]物联网的核心和基础仍然 是互联网,是在互联网基础上的延伸和扩展的网络;[/][]其用户端延伸和扩展到了任何物 品与物品之间,进行信息交换和通信。物联网就是"物物相连的互联网"。[/]
 
物联网通过智能感知、识别技术与普适计算、泛在网络的融合应用,被称为继计算机、互联网之后世界信息 产业发展的第三次浪潮。物联网是互联网的应用拓展,与其说物联网是网络,不如说物联网是业务和应用。因此,应用创新是物联网发展的核心,以用户体验为核心的创新 2.0 是物联网发展的灵魂。 
 
物联网架构可分为三层,包括感知层、网络层和应用层:
[]感知层:由各种传感器构成,包括温湿度传感器、二维码标签、RFID标签和读写 器、摄像头、GPS 等感知终端。感知层是物联网识别物体、采集信息的来源; [/][]网络层:由各种网络,包括互联网、广电网、网络管理系统和云计算平台等组成, 是整个物联网的中枢,负责传递和处理感知层获取的信息;[/][]应用层:是物联网和用户的接口,它与行业需求结合,实现物联网的智能应用。 物联网用途广泛,遍及智能交通、环境保护、政府工作、公共安全、平安家居、智能消防、工业监测、环境监测、路灯照明管控、景观照明管控、楼宇照明管控、广场照明管控、 老人护理、个人健康、花卉栽培、水系监测、食品溯源、敌情侦查和情报搜集等多个领域。 [/]
 
国际电信联盟于 2005 年的报告曾 查看全部
物联网是新一代信息技术的重要组成部分,其英文名称是"The Internet of things"。顾名思义,"物联网就是物物相连的互联网"。这有两层意思:
    []物联网的核心和基础仍然 是互联网,是在互联网基础上的延伸和扩展的网络;[/][]其用户端延伸和扩展到了任何物 品与物品之间,进行信息交换和通信。物联网就是"物物相连的互联网"。[/]

 
物联网通过智能感知、识别技术与普适计算、泛在网络的融合应用,被称为继计算机、互联网之后世界信息 产业发展的第三次浪潮。物联网是互联网的应用拓展,与其说物联网是网络,不如说物联网是业务和应用。因此,应用创新是物联网发展的核心,以用户体验为核心的创新 2.0 是物联网发展的灵魂。 
 
物联网架构可分为三层,包括感知层、网络层和应用层:
    []感知层:由各种传感器构成,包括温湿度传感器、二维码标签、RFID标签和读写 器、摄像头、GPS 等感知终端。感知层是物联网识别物体、采集信息的来源; [/][]网络层:由各种网络,包括互联网、广电网、网络管理系统和云计算平台等组成, 是整个物联网的中枢,负责传递和处理感知层获取的信息;[/][]应用层:是物联网和用户的接口,它与行业需求结合,实现物联网的智能应用。 物联网用途广泛,遍及智能交通、环境保护、政府工作、公共安全、平安家居、智能消防、工业监测、环境监测、路灯照明管控、景观照明管控、楼宇照明管控、广场照明管控、 老人护理、个人健康、花卉栽培、水系监测、食品溯源、敌情侦查和情报搜集等多个领域。 [/]

 
国际电信联盟于 2005 年的报告曾

大数据和云计算的关系

大数据/云计算Nock 发表了文章 • 0 个评论 • 917 次浏览 • 2016-05-25 19:39 • 来自相关话题

近几年来,云计算受到学术界、工业界和互联网的热捧,随后,大数据横空出世,更是炙手可热。 那么,大数据和云计算之间是什么关系呢? 
 
1、从整体上看,大数据与云计算是相辅相成的
大数据着眼于"数据",关注实际业务,
近几年来,云计算受到学术界、工业界和互联网的热捧,随后,大数据横空出世,更是炙手可热。 那么,大数据和云计算之间是什么关系呢? 
 
1、从整体上看,大数据与云计算是相辅相成的
大数据着眼于"数据",关注实际业务,

如何管理大数据

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 139 次浏览 • 2017-08-18 18:15 • 来自相关话题

随着应用BI系统的广泛应用,数据治理的话题也越来越受到企业的关注和讨论,有专家表示,如果想让用户进入真正的商业智能时代,就必须建立一定的数据治理体系;而大数据治理能够在短期内成为业内的焦点,这和企业对大数据质量的理解和密切关注有很大关系。

大数据治理面临的挑战:规模庞大,标准不一

过去几年,企业的IT系统经历了数据量高速膨胀的一个时期,这些海量的,分散在不同服务器的数据提高了数据资源利用的复杂性和管理难度;另外,各个企业内部的业务区分和行政区分也对企业数据的交互造成了一定的断层,而企业与外部业务交互所产生的“体外循环”数据与企业的核心数据体系并不能自然地融合。当这种数据的异构化所导致的应用冲突达到一定临界点时,数据治理便成为了规范企业数据的必要步骤。

大数据治理技术:主题众多,元数据管理先行

数据治理涉及的IT技术主题众多,包括元数据管理、主数据管理、数据质量、数据集成、监控与报告等。在很多国际企业中,元数据管理的重要性在全部技术主题中位列第一。

元数据管理是语义工具,其重要性在于,它能够为数据治理建立一套数据资料库,存储治理范围内的数据定义,负责人,来源,转换关系,目标,质量等级,依赖关系,安全权限等。这些信息对于商业整合,数据质量,可审计性等数据治理目标的实现至关重要。

元数据管理是实施数据治理的核心IT技术,有效的元数据管理将为数据质量、数据集成等技术的实施,以及数据治理目标的最终实现奠定坚实的基础。

大数据治理的意义:发掘数据资产的商业价值

大数据治理是为了将数据作为企业商业资产进行应用和管理的一套数据管理机制,能够通过建立规范的数据应用标准,消除数据的不一致性,来提高数据的质量,并能合理的将数据应用于企业的业务管理和战略决策中,充分的发挥数据的商业价值,良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。
 
了解更多大数据相关知识请进入OTPUB官网:www.otpub.com 查看全部
随着应用BI系统的广泛应用,数据治理的话题也越来越受到企业的关注和讨论,有专家表示,如果想让用户进入真正的商业智能时代,就必须建立一定的数据治理体系;而大数据治理能够在短期内成为业内的焦点,这和企业对大数据质量的理解和密切关注有很大关系。

大数据治理面临的挑战:规模庞大,标准不一

过去几年,企业的IT系统经历了数据量高速膨胀的一个时期,这些海量的,分散在不同服务器的数据提高了数据资源利用的复杂性和管理难度;另外,各个企业内部的业务区分和行政区分也对企业数据的交互造成了一定的断层,而企业与外部业务交互所产生的“体外循环”数据与企业的核心数据体系并不能自然地融合。当这种数据的异构化所导致的应用冲突达到一定临界点时,数据治理便成为了规范企业数据的必要步骤。

大数据治理技术:主题众多,元数据管理先行

数据治理涉及的IT技术主题众多,包括元数据管理、主数据管理、数据质量、数据集成、监控与报告等。在很多国际企业中,元数据管理的重要性在全部技术主题中位列第一。

元数据管理是语义工具,其重要性在于,它能够为数据治理建立一套数据资料库,存储治理范围内的数据定义,负责人,来源,转换关系,目标,质量等级,依赖关系,安全权限等。这些信息对于商业整合,数据质量,可审计性等数据治理目标的实现至关重要。

元数据管理是实施数据治理的核心IT技术,有效的元数据管理将为数据质量、数据集成等技术的实施,以及数据治理目标的最终实现奠定坚实的基础。

大数据治理的意义:发掘数据资产的商业价值

大数据治理是为了将数据作为企业商业资产进行应用和管理的一套数据管理机制,能够通过建立规范的数据应用标准,消除数据的不一致性,来提高数据的质量,并能合理的将数据应用于企业的业务管理和战略决策中,充分的发挥数据的商业价值,良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。
 
了解更多大数据相关知识请进入OTPUB官网:www.otpub.com

​大数据与商业智能BI的关系密不可分

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 252 次浏览 • 2017-06-20 16:33 • 来自相关话题

大数据应用的数据来源,主要是包括非机构化的数据、各种系统数据、数据库数据等。而BI大数据应用则是在数据集成方面的技术更加成熟,对于数据的提取和挖掘方面的要求来说,数据集成平台会帮助企业实现数据的流通和交互使用,而企业内部部署BI应用就是为了更好的分享和使用数据。






大数据对于传统BI,既有继承,也有发展;BI与大数据区别在于前者更倾向于决策,对事实描述更多是基于群体共性,帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题,大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策。
BI的发展要从传统的商务智能模式开始转换,对于企业来说,BI不仅仅是一个IT项目,更是一种管理和思维的方式,从技术的部署到业务的流程规划,BI迎来新的发展。对于大数据来说,现阶段更多的大数据关注在非结构化数据,不同的数据分析工具的出现和行内的应用范围不断的加大,对于大数据应用来说,怎么与应用的行业进行一个深层次的结合才是最重要的。

更多关于大数据的知识请关注OTPUB《大数据论坛》
OTpub,专业的IT学习直播平台:www.otpub.com
  查看全部
大数据应用的数据来源,主要是包括非机构化的数据、各种系统数据、数据库数据等。而BI大数据应用则是在数据集成方面的技术更加成熟,对于数据的提取和挖掘方面的要求来说,数据集成平台会帮助企业实现数据的流通和交互使用,而企业内部部署BI应用就是为了更好的分享和使用数据。

大数据与商业智能BI的关系密不可分.jpg


大数据对于传统BI,既有继承,也有发展;BI与大数据区别在于前者更倾向于决策,对事实描述更多是基于群体共性,帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题,大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策。
BI的发展要从传统的商务智能模式开始转换,对于企业来说,BI不仅仅是一个IT项目,更是一种管理和思维的方式,从技术的部署到业务的流程规划,BI迎来新的发展。对于大数据来说,现阶段更多的大数据关注在非结构化数据,不同的数据分析工具的出现和行内的应用范围不断的加大,对于大数据应用来说,怎么与应用的行业进行一个深层次的结合才是最重要的。

更多关于大数据的知识请关注OTPUB《大数据论坛
OTpub,专业的IT学习直播平台:www.otpub.com
 

【直播预告】告别平庸,数据时代就要不一样!

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 187 次浏览 • 2017-06-05 15:44 • 来自相关话题

大数据时代,数据分析对于业务决策的帮助越来越大,它帮助企业中的业务人员在保证数据时效性的前提下,通过自助式数据分析,帮助企业从上到下实现数据化运营。
那么,我们的数据来源于何处呢?流程数据、机器生成数据,当然还有我们产生的数据,因此,无论是从市场环境还是评测机构报告来看,大数据时代已经启动,数据分析也更为重要。

传统报表
无交互、格式固定、实施缓慢






蜕变后的报表
可交互、生成快、可分享






让数据生动起来,左右逢源?Tableau都能帮您实现!

Tableau 整合了您的数据架构,让您用能理解的方式从视觉上分析您的数据。

 Tableau Server
可提供基于浏览器和移动分析的商业智能应用程序。无需编程,即可创建报告和仪表板。






 Tableau Desktop
实时可视化分析实现随心所欲的数据探索,交互式仪表板帮助用户即时发现隐藏的见解。






想深入了解Tableau
机会来了
6月6日14 : 00
“人人都是数据分析师”
直播活动即将开启
技术大神亲授数据分析大法

讲师介绍
林旭
从事Tableau售前工作
通过Tableau银牌和QA等级认证


活动日程
14 : 00-14 : 10 讲师介绍
14 : 10-14 : 30 Tableau如何让数据生动起来
14 : 30-15 : 40 Tableau功能展示及使用技巧
15 : 40-16 : 00 互动答疑
 
点击此处报名观看直播>>> 查看全部
大数据时代,数据分析对于业务决策的帮助越来越大,它帮助企业中的业务人员在保证数据时效性的前提下,通过自助式数据分析,帮助企业从上到下实现数据化运营。
那么,我们的数据来源于何处呢?流程数据、机器生成数据,当然还有我们产生的数据,因此,无论是从市场环境还是评测机构报告来看,大数据时代已经启动,数据分析也更为重要。

传统报表
无交互、格式固定、实施缓慢

【直播预告】告别平庸,数据时代就要不一样!.webp_.jpg


蜕变后的报表
可交互、生成快、可分享

【直播预告】告别平庸,数据时代就要不一样!2.webp_.jpg


让数据生动起来,左右逢源?Tableau都能帮您实现!

Tableau 整合了您的数据架构,让您用能理解的方式从视觉上分析您的数据。

 Tableau Server
可提供基于浏览器和移动分析的商业智能应用程序。无需编程,即可创建报告和仪表板。

【直播预告】告别平庸,数据时代就要不一样!3.webp_.jpg


 Tableau Desktop
实时可视化分析实现随心所欲的数据探索,交互式仪表板帮助用户即时发现隐藏的见解。

【直播预告】告别平庸,数据时代就要不一样!4.webp_.jpg


想深入了解Tableau
机会来了
6月6日14 : 00
“人人都是数据分析师”
直播活动即将开启
技术大神亲授数据分析大法


讲师介绍
林旭
从事Tableau售前工作
通过Tableau银牌和QA等级认证


活动日程
14 : 00-14 : 10 讲师介绍
14 : 10-14 : 30 Tableau如何让数据生动起来
14 : 30-15 : 40 Tableau功能展示及使用技巧
15 : 40-16 : 00 互动答疑
 
点击此处报名观看直播>>>

​选择云服务器的小窍门有哪些?

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 232 次浏览 • 2017-05-15 14:59 • 来自相关话题

OTPUB直播活动又双叒叕来喽!
直播主题
老板等等,微软专家找你聊转型!
直播时间
2017年5月16日 14:00-15:00

点击报名>>>
云计算,将云服务器待到了聚光灯下。但选择云服务器是件很困难的事,因为云平台的功能都相差无几。我们货比三家时,建议从细节入手,综合考量,只选对的,不选贵的,选择适配业务需求的云服务器。那么选择云服务器的小窍门有哪些呢?
一、谨记自身需求
云服务器归根到底是为你的业务服务的,因此首先需要明确你对云服务器的需求,比较并评估各种功能,例如虚拟化功能、网络隔离和root权限隔离等。要留意管理和监控处理器、内存、磁盘I/O性能、存储限制等资源管理的功能。确定某个平台能够满足你企业的具体标准之后,再评估成本。
二、网络线路,建议选双线或多线
根据数据中心接入的网络线路,国内云服务器提供电信、联通等单线/双线带宽。建议选择双线。即使你的业务主要面向本地客户群也是如此。因为本地客户的宽带使用状况也不统一,即使中国北方地区也有大量的电信用户。为满足不同网络运营商客户的访问需求,建议选择双线双IP。
三、推荐香港节点
根据部署区域的差异,很多服务商提供国内、香港、韩国、美国等多样化的节点供你选择。国内节点必须备案,美国云服务器连接中国速度慢,因此如果你的业务面向亚太区客户群,个人推荐香港节点。香港节点,一般采用BGP国际多线,支持中国大陆和亚太区极速访问,且大陆南北地区均享高速。更重要的是,香港云服务器免备案,即开即用,你的业务可以最快速度上线,抢占市场先机。如果你的客户群主要分布在北美和欧洲,建议使用美国云服务器。
云服务器
四、云服务器性能测试
选购云服务器前,建议通过性能测试感知云服务器的性能表现(一般很多云服务商都提供测试机型、免费试用、3天无条件退款等,这些都可用于性能测试)。通过对测试IP进行ping、Tracert路由追踪、网站测速工具等可初步把握云服务器的网络连接速度和质量。通过HD Tune等工具测试磁盘性能等。总之,我们需要对云服务器的稳定性、网络稳定性以及软件兼容性等主要方面进行测试,包括云服务器是否宕机、损坏数据恢复能力、是否具备入侵攻击防护、网络延迟和丢包率、软件安装和运行是否正常、软件数据是否兼容等。
以上就是选择云服务器时的小窍门,希望对你有所帮助。最后,我们还要提醒云服务器用户,虽然云服务器拥有多重数据副本、快照备份等机制,但传统的定期本地备份习惯我们也不能丢弃。因为再稳定的云平台也无法保证100%无故障,一旦云平台基础架构出现故障,后果可能是毁灭性的,做好自身网站数据备份并下载到本地保存,是保护我们努力成果的应尽之责,也是防止关键业务数据丢失的最后一道防线。 查看全部
OTPUB直播活动又双叒叕来喽!
直播主题
老板等等,微软专家找你聊转型!
直播时间
2017年5月16日 14:00-15:00

点击报名>>>
云计算,将云服务器待到了聚光灯下。但选择云服务器是件很困难的事,因为云平台的功能都相差无几。我们货比三家时,建议从细节入手,综合考量,只选对的,不选贵的,选择适配业务需求的云服务器。那么选择云服务器的小窍门有哪些呢?
一、谨记自身需求
云服务器归根到底是为你的业务服务的,因此首先需要明确你对云服务器的需求,比较并评估各种功能,例如虚拟化功能、网络隔离和root权限隔离等。要留意管理和监控处理器、内存、磁盘I/O性能、存储限制等资源管理的功能。确定某个平台能够满足你企业的具体标准之后,再评估成本。
二、网络线路,建议选双线或多线
根据数据中心接入的网络线路,国内云服务器提供电信、联通等单线/双线带宽。建议选择双线。即使你的业务主要面向本地客户群也是如此。因为本地客户的宽带使用状况也不统一,即使中国北方地区也有大量的电信用户。为满足不同网络运营商客户的访问需求,建议选择双线双IP。
三、推荐香港节点
根据部署区域的差异,很多服务商提供国内、香港、韩国、美国等多样化的节点供你选择。国内节点必须备案,美国云服务器连接中国速度慢,因此如果你的业务面向亚太区客户群,个人推荐香港节点。香港节点,一般采用BGP国际多线,支持中国大陆和亚太区极速访问,且大陆南北地区均享高速。更重要的是,香港云服务器免备案,即开即用,你的业务可以最快速度上线,抢占市场先机。如果你的客户群主要分布在北美和欧洲,建议使用美国云服务器。
云服务器
四、云服务器性能测试
选购云服务器前,建议通过性能测试感知云服务器的性能表现(一般很多云服务商都提供测试机型、免费试用、3天无条件退款等,这些都可用于性能测试)。通过对测试IP进行ping、Tracert路由追踪、网站测速工具等可初步把握云服务器的网络连接速度和质量。通过HD Tune等工具测试磁盘性能等。总之,我们需要对云服务器的稳定性、网络稳定性以及软件兼容性等主要方面进行测试,包括云服务器是否宕机、损坏数据恢复能力、是否具备入侵攻击防护、网络延迟和丢包率、软件安装和运行是否正常、软件数据是否兼容等。
以上就是选择云服务器时的小窍门,希望对你有所帮助。最后,我们还要提醒云服务器用户,虽然云服务器拥有多重数据副本、快照备份等机制,但传统的定期本地备份习惯我们也不能丢弃。因为再稳定的云平台也无法保证100%无故障,一旦云平台基础架构出现故障,后果可能是毁灭性的,做好自身网站数据备份并下载到本地保存,是保护我们努力成果的应尽之责,也是防止关键业务数据丢失的最后一道防线。

企业级管理及项目管理软件的发展趋势

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 271 次浏览 • 2017-04-24 15:35 • 来自相关话题

OTPUB直播活动又双叒叕来喽!

直播主题

Excel的“天上人间”-“出台”到PPT的动态图表

直播时间

2017年4月25日 14:00-15:00
点击报名观看>>>


发展才是硬道理,企业中的各种制度目的终为了企业发展。在过去,我们总是在强调制度,由于企业是一个复杂的系统,企业的管理制度也必然是一个复杂的系统。任何一个制度的实施,都有可能由于相关方面制度的不完善或缺失而造成负面的影响。因此管理制度本身应该是完善的,涵盖企业管理系统的方方面面,并且随着企业内外环境的变化,不断地加以补充、修订和加强。
企业级管理及项目管理软件的发展趋势
经过数年的发展建设,企业信息化从部门级初步应用如办公、财务、人力等进入流程为中心的一体化管理模式,为提升企业管理效率的企业级。移动互联网、云计算发展迅速,企业管理在技术上也推行革新。很多企业借助科技发展带来的便利,随着大数据、商业智能、云计算这些技术而来,企业管理软件发展是这样的…
1、 一体化管理模式。企业管理系统是新的工作管理方式。互联网企业对软件、硬件、数据、计算等资源需求强烈。智能化的管理提供更多机会,相比传统的企业管理方案,一体化管理带来更完整的架构。
2、移动办公成主流。智能手机推动移动办公,手机、平板灯设备记录工作、管理工作流程越来越常见,经常外出的工作人员就可以方便使用。
3、个性化的管理定制。随着市场的发展变化,企业对管理方式的智能和个性化需求也凸显出来。根据不同的管理要求,可以通过自主灵活的定制功能来解决难题。
智能化企业管理服务的发展,让企业能够具备更快速的反应能力、打造更简洁的业务流程,强化了企业应对复杂环境的核心竞争力。而一体化管理模式将促进企业管理生态的形成和发展,通过一个系统能够快速调动各资源彼此配合,形成网状的交互生态圈,信息的实时共享大大提升了数据的安全性和可控度,为企业的信息化提供强有力的支撑。
关于项目管理软件
如今,项目管理备受重视,原因是项目管理在运筹与协同方面的方式方法恰好填充了其它管理体系或管理系统这方面的相对弱项;PMI的PMBOK或IPMA的ICB等关于项目管理的理论体系日臻完善,并在全球范围内展开几近商业性质的普及推广;项目管理软件软件功能及演绎理论能力的不断提高,使项目管理从理论走向实际实施进而发挥效益成为现实;引导企业管理风向标的跨国公司纷纷开始在企业中采用项目管理技术和项目管理解决方案,初步形成了企业项目管理化的局面。
随着越来越多的企业或组织对项目管理方法和技术的引入,以及大家对项目管理理解的深入,因此未来的项目管理软件市场的发展是机遇和挑战同时并存的。 用户的需求对于未来的企业级项目管理软件所采用技术也提出了更高的要求,如大数据量存储、大用户量并发访问、企业多分支机构的支持、大用户量的系统维护、系统的可扩展性/可集成性/可定制性等等。
由于国内项目管理软件开发起步较晚,涉足开发企业级项目管理软件的企业也微乎其微,目前国内企业级项目管理软件高端市场几乎由国外厂商垄断。
未来,企业级项目管理软件发展将会:1、通用型项目管理解决方案;2、IT项目管理解决方案;3、大核心功能实现度解决方案…,如今市场前景比较广阔,产品的先进性是重要的,但是满足不同层次客户的需求也是及其重要的。伴随着项目管理在中国的迅猛发展,客户对项目管理的理性认识,以及项目管理软件厂商对项目管理先进理念和方法的倡导,谁会是最后的赢家?是厂商、是客户、还是专业的咨询/服务公司?请拭目以待... 查看全部
OTPUB直播活动又双叒叕来喽!

直播主题

Excel的“天上人间”-“出台”到PPT的动态图表

直播时间

2017年4月25日 14:00-15:00
点击报名观看>>>


发展才是硬道理,企业中的各种制度目的终为了企业发展。在过去,我们总是在强调制度,由于企业是一个复杂的系统,企业的管理制度也必然是一个复杂的系统。任何一个制度的实施,都有可能由于相关方面制度的不完善或缺失而造成负面的影响。因此管理制度本身应该是完善的,涵盖企业管理系统的方方面面,并且随着企业内外环境的变化,不断地加以补充、修订和加强。
企业级管理及项目管理软件的发展趋势
经过数年的发展建设,企业信息化从部门级初步应用如办公、财务、人力等进入流程为中心的一体化管理模式,为提升企业管理效率的企业级。移动互联网、云计算发展迅速,企业管理在技术上也推行革新。很多企业借助科技发展带来的便利,随着大数据、商业智能、云计算这些技术而来,企业管理软件发展是这样的…
1、 一体化管理模式。企业管理系统是新的工作管理方式。互联网企业对软件、硬件、数据、计算等资源需求强烈。智能化的管理提供更多机会,相比传统的企业管理方案,一体化管理带来更完整的架构。
2、移动办公成主流。智能手机推动移动办公,手机、平板灯设备记录工作、管理工作流程越来越常见,经常外出的工作人员就可以方便使用。
3、个性化的管理定制。随着市场的发展变化,企业对管理方式的智能和个性化需求也凸显出来。根据不同的管理要求,可以通过自主灵活的定制功能来解决难题。
智能化企业管理服务的发展,让企业能够具备更快速的反应能力、打造更简洁的业务流程,强化了企业应对复杂环境的核心竞争力。而一体化管理模式将促进企业管理生态的形成和发展,通过一个系统能够快速调动各资源彼此配合,形成网状的交互生态圈,信息的实时共享大大提升了数据的安全性和可控度,为企业的信息化提供强有力的支撑。
关于项目管理软件
如今,项目管理备受重视,原因是项目管理在运筹与协同方面的方式方法恰好填充了其它管理体系或管理系统这方面的相对弱项;PMI的PMBOK或IPMA的ICB等关于项目管理的理论体系日臻完善,并在全球范围内展开几近商业性质的普及推广;项目管理软件软件功能及演绎理论能力的不断提高,使项目管理从理论走向实际实施进而发挥效益成为现实;引导企业管理风向标的跨国公司纷纷开始在企业中采用项目管理技术和项目管理解决方案,初步形成了企业项目管理化的局面。
随着越来越多的企业或组织对项目管理方法和技术的引入,以及大家对项目管理理解的深入,因此未来的项目管理软件市场的发展是机遇和挑战同时并存的。 用户的需求对于未来的企业级项目管理软件所采用技术也提出了更高的要求,如大数据量存储、大用户量并发访问、企业多分支机构的支持、大用户量的系统维护、系统的可扩展性/可集成性/可定制性等等。
由于国内项目管理软件开发起步较晚,涉足开发企业级项目管理软件的企业也微乎其微,目前国内企业级项目管理软件高端市场几乎由国外厂商垄断。
未来,企业级项目管理软件发展将会:1、通用型项目管理解决方案;2、IT项目管理解决方案;3、大核心功能实现度解决方案…,如今市场前景比较广阔,产品的先进性是重要的,但是满足不同层次客户的需求也是及其重要的。伴随着项目管理在中国的迅猛发展,客户对项目管理的理性认识,以及项目管理软件厂商对项目管理先进理念和方法的倡导,谁会是最后的赢家?是厂商、是客户、还是专业的咨询/服务公司?请拭目以待...

​部署SaaS向云计算转型 网络安全需先行

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 359 次浏览 • 2017-04-20 16:18 • 来自相关话题

云计算解决方案可让企业快速部署服务以及降低总体拥有成本,这也是为什么首席信息官(CIO)转向软件即服务(SaaS)来提供有效高效服务的原因。
然而,尽管云计算解决方案有很多优势,但企业还必须考虑部署SaaS的安全影响。成功云计算转型的关键是在转移到SaaS解决方案时使用适当的安全控制。
部署SaaS最佳做法
部署SaaS并不会自动保证整体基础设施的安全性,企业应该查看需要保护的服务的安全控制情况。例如,你必须了解针对客户关系管理(CRM)解决方案的攻击的特定后果。同时,你必须确保你的安全信息和事件管理(SIEM)解决方案能够从这个CRM中收集数据。
同样重要的是管理联合身份,因为很多SaaS解决方案要求不同类型的身份验证。强迫用户输入多个密码并不足以构建正确的安全文化。
IT经理通常会基于不现实的战略决策来决定是否部署云计算交付模型。但如果公司决定不允许其员工利用云计算服务,可能为时已晚。云计算服务已经在企业功能中使用,例如很多库使用云端应用程序接口(API),而员工早就开始使用云应用。
复杂的生态系统
云应用的生命周期必须包含动态安全分析,这些应用是复杂生态系统的一部分。它们可能今天很安全,第二天就布满漏洞,这主要取决于生态系统的状态。
企业应该专注于向服务安装安全控制,确保部署这些控制的技术不会依靠交付模型。否则,你可能会被迫部署不是基于战略决策的技术和业务模型,只是为了挽救以前的投资。为内部部署和云服务提供相同的安全控制是良好安全策略的关键因素。
SaaS提供商的责任
应用是恶意攻击者执行网络攻击的窗口,因此,安全应该成为这些应用开发周期的一部分。SaaS提供商需要不断测试他们的产品,并根据安全响应专家制定的流程和最佳做法对漏洞作出响应。
供应商还应该在非常坚实的基础设施即服务(IaaS)以及平台即服务(PaaS)上提供SaaS,最后,SaaS提供商还必须遵守隐私和数据管理法规。
OTPUB直播活动又双叒叕来喽!

直播主题

Excel的“天上人间”-“出台”到PPT的动态图表

直播时间

2017年4月25日 14:00-15:00

点击参与报名>>>
http://www.otpub.com/special/Excel0425/excel0425_baoming.html 查看全部

云计算解决方案可让企业快速部署服务以及降低总体拥有成本,这也是为什么首席信息官(CIO)转向软件即服务(SaaS)来提供有效高效服务的原因。
然而,尽管云计算解决方案有很多优势,但企业还必须考虑部署SaaS的安全影响。成功云计算转型的关键是在转移到SaaS解决方案时使用适当的安全控制。
部署SaaS最佳做法
部署SaaS并不会自动保证整体基础设施的安全性,企业应该查看需要保护的服务的安全控制情况。例如,你必须了解针对客户关系管理(CRM)解决方案的攻击的特定后果。同时,你必须确保你的安全信息和事件管理(SIEM)解决方案能够从这个CRM中收集数据。
同样重要的是管理联合身份,因为很多SaaS解决方案要求不同类型的身份验证。强迫用户输入多个密码并不足以构建正确的安全文化。
IT经理通常会基于不现实的战略决策来决定是否部署云计算交付模型。但如果公司决定不允许其员工利用云计算服务,可能为时已晚。云计算服务已经在企业功能中使用,例如很多库使用云端应用程序接口(API),而员工早就开始使用云应用。
复杂的生态系统
云应用的生命周期必须包含动态安全分析,这些应用是复杂生态系统的一部分。它们可能今天很安全,第二天就布满漏洞,这主要取决于生态系统的状态。
企业应该专注于向服务安装安全控制,确保部署这些控制的技术不会依靠交付模型。否则,你可能会被迫部署不是基于战略决策的技术和业务模型,只是为了挽救以前的投资。为内部部署和云服务提供相同的安全控制是良好安全策略的关键因素。
SaaS提供商的责任
应用是恶意攻击者执行网络攻击的窗口,因此,安全应该成为这些应用开发周期的一部分。SaaS提供商需要不断测试他们的产品,并根据安全响应专家制定的流程和最佳做法对漏洞作出响应。
供应商还应该在非常坚实的基础设施即服务(IaaS)以及平台即服务(PaaS)上提供SaaS,最后,SaaS提供商还必须遵守隐私和数据管理法规。
OTPUB直播活动又双叒叕来喽!

直播主题

Excel的“天上人间”-“出台”到PPT的动态图表

直播时间

2017年4月25日 14:00-15:00

点击参与报名>>>
http://www.otpub.com/special/Excel0425/excel0425_baoming.html

Hadoop环境中管理大数据存储技巧

大数据/云计算OT学习平台 发表了文章 • 0 个评论 • 349 次浏览 • 2017-04-12 15:03 • 来自相关话题

Hadoop环境中管理大数据存储八大技巧
目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,下面介绍一下关于Hadoop环境中管理大数据存储技巧。

在现如今,随着IT互联网信息技术的飞速发展和进步。目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,下面介绍一下关于Hadoop环境中管理大数据存储技巧。
1、分布式存储
传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点,同时采用了HDFS文件系统的大规模横向扩展功能。
虽然,通常解决Hadoop管理自身数据低效性的方案是将Hadoop数据存储在SAN上。但这也造成了它自身性能与规模的瓶颈。现在,如果你把所有的数据都通过集中式SAN处理器进行处理,与Hadoop的分布式和并行化特性相悖。你要么针对不同的数据节点管理多个SAN,要么将所有的数据节点都集中到一个SAN。
但Hadoop是一个分布式应用,就应该运行在分布式存储上,这样存储就保留了与Hadoop本身同样的灵活性,不过它也要求拥抱一个软件定义存储方案,并在商用服务器上运行,这相比瓶颈化的Hadoop自然更为高效。
2、超融合VS分布式
注意,不要混淆超融合与分布式。某些超融合方案是分布式存储,但通常这个术语意味着你的应用和存储都保存在同一计算节点上。这是在试图解决数据本地化的问题,但它会造成太多资源争用。这个Hadoop应用和存储平台会争用相同的内存和CPU。Hadoop运行在专有应用层,分布式存储运行在专有存储层这样会更好。之后,利用缓存和分层来解决数据本地化并补偿网络性能损失。
3、避免控制器瓶颈(ControllerChokePoint)
实现目标的一个重要方面就是——避免通过单个点例如一个传统控制器来处理数据。反之,要确保存储平台并行化,性能可以得到显著提升。
此外,这个方案提供了增量扩展性。为数据湖添加功能跟往里面扔x86服务器一样简单。一个分布式存储平台如有需要将自动添加功能并重新调整数据。
4、删重和压缩
掌握大数据的关键是删重和压缩技术。通常大数据集内会有70%到90%的数据简化。以PB容量计,能节约数万美元的磁盘成本。现代平台提供内联(对比后期处理)删重和压缩,大大降低了存储数据所需能力。
5、合并Hadoop发行版
很多大型企业拥有多个Hadoop发行版本。可能是开发者需要或是企业部门已经适应了不同版本。无论如何最终往往要对这些集群的维护与运营。一旦海量数据真正开始影响一家企业时,多个Hadoop发行版存储就会导致低效性。我们可以通过创建一个单一,可删重和压缩的数据湖获取数据效率
6、虚拟化Hadoop
虚拟化已经席卷企业级市场。很多地区超过80%的物理服务器现在是虚拟化的。但也仍有很多企业因为性能和数据本地化问题对虚拟化Hadoop避而不谈。
7、创建弹性数据湖
创建数据湖并不容易,但大数据存储可能会有需求。我们有很多种方法来做这件事,但哪一种是正确的?这个正确的架构应该是一个动态,弹性的数据湖,可以以多种格式(架构化,非结构化,半结构化)存储所有资源的数据。更重要的是,它必须支持应用不在远程资源上而是在本地数据资源上执行。
不幸的是,传统架构和应用(也就是非分布式)并不尽如人意。随着数据集越来越大,将应用迁移到数据不可避免,而因为延迟太长也无法倒置。
理想的数据湖基础架构会实现数据单一副本的存储,而且有应用在单一数据资源上执行,无需迁移数据或制作副本。
8、整合分析
分析并不是一个新功能,它已经在传统RDBMS环境中存在多年。不同的是基于开源应用的出现,以及数据库表单和社交媒体,非结构化数据资源(比如,维基百科)的整合能力。关键在于将多个数据类型和格式整合成一个标准的能力,有利于更轻松和一致地实现可视化与报告制作。合适的工具也对分析/商业智能项目的成功至关重要。
OTPUB直播活动又双叒叕来喽!
直播主题
甲骨文第2代企业级IaaS云技术大会
直播时间
2017年4月13日 9:30-17:30
点击参与报名>>>
 
或者直接进入OTPUB官网
http://www.otpub.com/ 查看全部
Hadoop环境中管理大数据存储八大技巧
目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,下面介绍一下关于Hadoop环境中管理大数据存储技巧。

在现如今,随着IT互联网信息技术的飞速发展和进步。目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,下面介绍一下关于Hadoop环境中管理大数据存储技巧。
1、分布式存储
传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点,同时采用了HDFS文件系统的大规模横向扩展功能。
虽然,通常解决Hadoop管理自身数据低效性的方案是将Hadoop数据存储在SAN上。但这也造成了它自身性能与规模的瓶颈。现在,如果你把所有的数据都通过集中式SAN处理器进行处理,与Hadoop的分布式和并行化特性相悖。你要么针对不同的数据节点管理多个SAN,要么将所有的数据节点都集中到一个SAN。
但Hadoop是一个分布式应用,就应该运行在分布式存储上,这样存储就保留了与Hadoop本身同样的灵活性,不过它也要求拥抱一个软件定义存储方案,并在商用服务器上运行,这相比瓶颈化的Hadoop自然更为高效。
2、超融合VS分布式
注意,不要混淆超融合与分布式。某些超融合方案是分布式存储,但通常这个术语意味着你的应用和存储都保存在同一计算节点上。这是在试图解决数据本地化的问题,但它会造成太多资源争用。这个Hadoop应用和存储平台会争用相同的内存和CPU。Hadoop运行在专有应用层,分布式存储运行在专有存储层这样会更好。之后,利用缓存和分层来解决数据本地化并补偿网络性能损失。
3、避免控制器瓶颈(ControllerChokePoint)
实现目标的一个重要方面就是——避免通过单个点例如一个传统控制器来处理数据。反之,要确保存储平台并行化,性能可以得到显著提升。
此外,这个方案提供了增量扩展性。为数据湖添加功能跟往里面扔x86服务器一样简单。一个分布式存储平台如有需要将自动添加功能并重新调整数据。
4、删重和压缩
掌握大数据的关键是删重和压缩技术。通常大数据集内会有70%到90%的数据简化。以PB容量计,能节约数万美元的磁盘成本。现代平台提供内联(对比后期处理)删重和压缩,大大降低了存储数据所需能力。
5、合并Hadoop发行版
很多大型企业拥有多个Hadoop发行版本。可能是开发者需要或是企业部门已经适应了不同版本。无论如何最终往往要对这些集群的维护与运营。一旦海量数据真正开始影响一家企业时,多个Hadoop发行版存储就会导致低效性。我们可以通过创建一个单一,可删重和压缩的数据湖获取数据效率
6、虚拟化Hadoop
虚拟化已经席卷企业级市场。很多地区超过80%的物理服务器现在是虚拟化的。但也仍有很多企业因为性能和数据本地化问题对虚拟化Hadoop避而不谈。
7、创建弹性数据湖
创建数据湖并不容易,但大数据存储可能会有需求。我们有很多种方法来做这件事,但哪一种是正确的?这个正确的架构应该是一个动态,弹性的数据湖,可以以多种格式(架构化,非结构化,半结构化)存储所有资源的数据。更重要的是,它必须支持应用不在远程资源上而是在本地数据资源上执行。
不幸的是,传统架构和应用(也就是非分布式)并不尽如人意。随着数据集越来越大,将应用迁移到数据不可避免,而因为延迟太长也无法倒置。
理想的数据湖基础架构会实现数据单一副本的存储,而且有应用在单一数据资源上执行,无需迁移数据或制作副本。
8、整合分析
分析并不是一个新功能,它已经在传统RDBMS环境中存在多年。不同的是基于开源应用的出现,以及数据库表单和社交媒体,非结构化数据资源(比如,维基百科)的整合能力。关键在于将多个数据类型和格式整合成一个标准的能力,有利于更轻松和一致地实现可视化与报告制作。合适的工具也对分析/商业智能项目的成功至关重要。
OTPUB直播活动又双叒叕来喽!
直播主题
甲骨文第2代企业级IaaS云技术大会
直播时间
2017年4月13日 9:30-17:30
点击参与报名>>>

 
或者直接进入OTPUB官网
http://www.otpub.com/

云主机IO性能测试报告

大数据/云计算Nock 发表了文章 • 0 个评论 • 511 次浏览 • 2016-12-01 18:49 • 来自相关话题

不同厂商的云主机在性能、设计、操作方面都存在很大的差异化。
 

吐槽云商

1、阿里云 -- 地主黑势力
阿里的包月包年捆绑式销售,创建完成后你不能及时删除释放主机,只能默默的等到期了,记得我第一次使用阿里云的时候,一口气开了10台云主机,后面我发现我不需要这么多,预算出错,但是阿里告诉我的是你人生中只有一次反悔的机会,我只能删掉一台主机。
 
其他的主机我只能等他默认到期了,如果实在没有多大作用我只能浪费我的银两,然后阿里坐收消费,我就当打赏王坚一个小红包了。
 
2、Ucloud -- 清廉百姓官
Ucloud的业务是我最喜欢的,尤其是喜欢他们的服务和UI设计。在国内做市场,我想你最应该的是调研国内技术人员的操作习惯,然后把云产品的使用达到极简、易使用,而不是黑灯找芝麻。在我的心理Ucloud是国内在云主机的操作和体验上给我的感受是最佳的。 还有就是他们的服务,他们可以一对一的帮你解决问题,耐心的解答,没有阿里那财大气粗的蛮横,不会绑架你。
 
3、Azure -- 没长齐毛的鸟
为什么我说Azure是没有长齐毛的鸟,因为他的产品设计还没有完善,操作困难,可能Azure还没有大力投入做中国市场吧,好多功能都依赖于PowerShell去完成操作,比如挂盘、弹性公网ip的绑定申请等,我想说的是我是个运维,脑子里面记了一大堆命令,我使用你们产品,挂个盘你还得让我去记一大堆命令和规则,我疯了。so.......
 
我使用过Ucloud、阿里云、Azure、Google云、AWS等诸多厂商的云产品服务,具体的其他功能我就不一一对比,下面我就介绍一下,我最近做的IO测试几家厂商的报告。
 

IO测试

测试命令如下:
fio -filename=/data/test.out1 -direct=1 -rw=read -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test1

fio -filename=/data/test.out2 -direct=1 -rw=write -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test2

fio -filename=/data/test.out3 -direct=1 -rw=randread -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test3

fio -filename=/data/test.out4 -direct=1 -rw=randwrite -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test4
测试结果如下:
















上面分别是Ucloud、阿里、Azure、谷歌云的IO测试结果。
 

速率测试

测试命令如下:
dd iflag=direct </data/test.out3 >/dev/null bs=16k count=102400
dd oflag=direct </dev/zero >/data/test2 bs=16k count=102400
测试结果如下:




 

总结

废话不多说,以上的测试结果仅供大家参考,新时代的云运维者,必须要有语言基础了,没有语言基础,就算Ucloud的操作再怎么人性化,你也不能自动化,所以从云时代的趋势来看作为运维者掌握一门语言还是很有必要的了。云平台有很多坑,在没有充分了解厂商的情况下,你会发现云时代的运维更难。 查看全部
不同厂商的云主机在性能、设计、操作方面都存在很大的差异化。
 


吐槽云商


1、阿里云 -- 地主黑势力
阿里的包月包年捆绑式销售,创建完成后你不能及时删除释放主机,只能默默的等到期了,记得我第一次使用阿里云的时候,一口气开了10台云主机,后面我发现我不需要这么多,预算出错,但是阿里告诉我的是你人生中只有一次反悔的机会,我只能删掉一台主机。
 
其他的主机我只能等他默认到期了,如果实在没有多大作用我只能浪费我的银两,然后阿里坐收消费,我就当打赏王坚一个小红包了。
 
2、Ucloud -- 清廉百姓官
Ucloud的业务是我最喜欢的,尤其是喜欢他们的服务和UI设计。在国内做市场,我想你最应该的是调研国内技术人员的操作习惯,然后把云产品的使用达到极简、易使用,而不是黑灯找芝麻。在我的心理Ucloud是国内在云主机的操作和体验上给我的感受是最佳的。 还有就是他们的服务,他们可以一对一的帮你解决问题,耐心的解答,没有阿里那财大气粗的蛮横,不会绑架你。
 
3、Azure -- 没长齐毛的鸟
为什么我说Azure是没有长齐毛的鸟,因为他的产品设计还没有完善,操作困难,可能Azure还没有大力投入做中国市场吧,好多功能都依赖于PowerShell去完成操作,比如挂盘、弹性公网ip的绑定申请等,我想说的是我是个运维,脑子里面记了一大堆命令,我使用你们产品,挂个盘你还得让我去记一大堆命令和规则,我疯了。so.......
 
我使用过Ucloud、阿里云、Azure、Google云、AWS等诸多厂商的云产品服务,具体的其他功能我就不一一对比,下面我就介绍一下,我最近做的IO测试几家厂商的报告。
 


IO测试


测试命令如下:
fio -filename=/data/test.out1 -direct=1 -rw=read -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test1

fio -filename=/data/test.out2 -direct=1 -rw=write -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test2

fio -filename=/data/test.out3 -direct=1 -rw=randread -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test3

fio -filename=/data/test.out4 -direct=1 -rw=randwrite -bs=4k -size=10g -numjobs=4 -runtime=1200 -group_reporting -name=test4

测试结果如下:
Ucloud.png

ali.png

Azure.png

GoogleCloud.png

上面分别是Ucloud、阿里、Azure、谷歌云的IO测试结果。
 


速率测试


测试命令如下:
dd iflag=direct </data/test.out3 >/dev/null bs=16k count=102400
dd oflag=direct </dev/zero >/data/test2 bs=16k count=102400

测试结果如下:
mancloud.png

 


总结


废话不多说,以上的测试结果仅供大家参考,新时代的云运维者,必须要有语言基础了,没有语言基础,就算Ucloud的操作再怎么人性化,你也不能自动化,所以从云时代的趋势来看作为运维者掌握一门语言还是很有必要的了。云平台有很多坑,在没有充分了解厂商的情况下,你会发现云时代的运维更难。

大数据与物联网

大数据/云计算Nock 发表了文章 • 0 个评论 • 640 次浏览 • 2016-06-05 11:31 • 来自相关话题

物联网是新一代信息技术的重要组成部分,其英文名称是"The Internet of things"。顾名思义,"物联网就是物物相连的互联网"。这有两层意思:
[]物联网的核心和基础仍然 是互联网,是在互联网基础上的延伸和扩展的网络;[/][]其用户端延伸和扩展到了任何物 品与物品之间,进行信息交换和通信。物联网就是"物物相连的互联网"。[/]
 
物联网通过智能感知、识别技术与普适计算、泛在网络的融合应用,被称为继计算机、互联网之后世界信息 产业发展的第三次浪潮。物联网是互联网的应用拓展,与其说物联网是网络,不如说物联网是业务和应用。因此,应用创新是物联网发展的核心,以用户体验为核心的创新 2.0 是物联网发展的灵魂。 
 
物联网架构可分为三层,包括感知层、网络层和应用层:
[]感知层:由各种传感器构成,包括温湿度传感器、二维码标签、RFID标签和读写 器、摄像头、GPS 等感知终端。感知层是物联网识别物体、采集信息的来源; [/][]网络层:由各种网络,包括互联网、广电网、网络管理系统和云计算平台等组成, 是整个物联网的中枢,负责传递和处理感知层获取的信息;[/][]应用层:是物联网和用户的接口,它与行业需求结合,实现物联网的智能应用。 物联网用途广泛,遍及智能交通、环境保护、政府工作、公共安全、平安家居、智能消防、工业监测、环境监测、路灯照明管控、景观照明管控、楼宇照明管控、广场照明管控、 老人护理、个人健康、花卉栽培、水系监测、食品溯源、敌情侦查和情报搜集等多个领域。 [/]
 
国际电信联盟于 2005 年的报告曾 查看全部
物联网是新一代信息技术的重要组成部分,其英文名称是"The Internet of things"。顾名思义,"物联网就是物物相连的互联网"。这有两层意思:
    []物联网的核心和基础仍然 是互联网,是在互联网基础上的延伸和扩展的网络;[/][]其用户端延伸和扩展到了任何物 品与物品之间,进行信息交换和通信。物联网就是"物物相连的互联网"。[/]

 
物联网通过智能感知、识别技术与普适计算、泛在网络的融合应用,被称为继计算机、互联网之后世界信息 产业发展的第三次浪潮。物联网是互联网的应用拓展,与其说物联网是网络,不如说物联网是业务和应用。因此,应用创新是物联网发展的核心,以用户体验为核心的创新 2.0 是物联网发展的灵魂。 
 
物联网架构可分为三层,包括感知层、网络层和应用层:
    []感知层:由各种传感器构成,包括温湿度传感器、二维码标签、RFID标签和读写 器、摄像头、GPS 等感知终端。感知层是物联网识别物体、采集信息的来源; [/][]网络层:由各种网络,包括互联网、广电网、网络管理系统和云计算平台等组成, 是整个物联网的中枢,负责传递和处理感知层获取的信息;[/][]应用层:是物联网和用户的接口,它与行业需求结合,实现物联网的智能应用。 物联网用途广泛,遍及智能交通、环境保护、政府工作、公共安全、平安家居、智能消防、工业监测、环境监测、路灯照明管控、景观照明管控、楼宇照明管控、广场照明管控、 老人护理、个人健康、花卉栽培、水系监测、食品溯源、敌情侦查和情报搜集等多个领域。 [/]

 
国际电信联盟于 2005 年的报告曾

大数据和云计算的关系

大数据/云计算Nock 发表了文章 • 0 个评论 • 917 次浏览 • 2016-05-25 19:39 • 来自相关话题

近几年来,云计算受到学术界、工业界和互联网的热捧,随后,大数据横空出世,更是炙手可热。 那么,大数据和云计算之间是什么关系呢? 
 
1、从整体上看,大数据与云计算是相辅相成的
大数据着眼于"数据",关注实际业务,
近几年来,云计算受到学术界、工业界和互联网的热捧,随后,大数据横空出世,更是炙手可热。 那么,大数据和云计算之间是什么关系呢? 
 
1、从整体上看,大数据与云计算是相辅相成的
大数据着眼于"数据",关注实际业务,
大数据(big data),指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。