云迁移过程中如何保证数据安全性

OT学习平台 发表了文章 • 0 个评论 • 197 次浏览 • 2017-08-02 16:48 • 来自相关话题

由于成本的降低和业务的便捷性,越来越多的企业将自己的IT系统迁移到云端,而在迁移的过程中,从基础设施的部署到云平台的挑战都十分的具有挑战性,在迁移过程中,企业IT管理着最需要重视的一个问题就是:如何保证云迁移的安全,减少迁移风险。
为了降低向云端迁移的风险,保证数据的安全性,OTPUB认为企业可以通过下面三种方法着手策划数据向云的迁移。 
第一种方法是指将本地硬件或虚拟机上的数据迁移到与之相匹配的云上。该解决方案缺乏弹性,该方案通常是为了满足峰值负载而过度供应,这就会导致了云计算成本的增加,因此这种方法作为一种短期解决措施会更佳。
第二种方法是指对企业的应用技术进行重新架构。数据迁移需要花费一定时间,而且具有较强的强制性,而对企业技术进行重新架构反而会获得更好的性能。的确,重新对应用技术的选择进行评估也不失为一种更好的选择。因为企业可能会将一些解决方案从使用昂贵的商业软件转向开源产品上来。
第三种方法是搁置单一的本地应用程序,将程序内部数据迁移到SaaS。这种方法既实现了业务的现代化标准,又将基础架构和服务的运营负担转嫁给了SaaS提供商。
以上三种方法可以让企业在最佳情况下完成数据由本地向云端的迁移,同时最大限度的保证了迁移过程中数据的安全性。 查看全部
由于成本的降低和业务的便捷性,越来越多的企业将自己的IT系统迁移到云端,而在迁移的过程中,从基础设施的部署到云平台的挑战都十分的具有挑战性,在迁移过程中,企业IT管理着最需要重视的一个问题就是:如何保证云迁移的安全,减少迁移风险。
为了降低向云端迁移的风险,保证数据的安全性,OTPUB认为企业可以通过下面三种方法着手策划数据向云的迁移。 
第一种方法是指将本地硬件或虚拟机上的数据迁移到与之相匹配的云上。该解决方案缺乏弹性,该方案通常是为了满足峰值负载而过度供应,这就会导致了云计算成本的增加,因此这种方法作为一种短期解决措施会更佳。
第二种方法是指对企业的应用技术进行重新架构。数据迁移需要花费一定时间,而且具有较强的强制性,而对企业技术进行重新架构反而会获得更好的性能。的确,重新对应用技术的选择进行评估也不失为一种更好的选择。因为企业可能会将一些解决方案从使用昂贵的商业软件转向开源产品上来。
第三种方法是搁置单一的本地应用程序,将程序内部数据迁移到SaaS。这种方法既实现了业务的现代化标准,又将基础架构和服务的运营负担转嫁给了SaaS提供商。
以上三种方法可以让企业在最佳情况下完成数据由本地向云端的迁移,同时最大限度的保证了迁移过程中数据的安全性。

​腾讯云化解安全危机,开启网络安全智能时代

OT学习平台 发表了文章 • 0 个评论 • 183 次浏览 • 2017-07-26 16:02 • 来自相关话题

随着网络应用的广泛普及,信息安全问题日益严峻,信息泄密事件更是令许多企业和组织损失惨重。索尼(Sony)、塔吉特(Target)、摩根大通银行等公司在这方面都有过惨痛的教训。在传统网络安全防御模式下,许多企业即使投入了大量精力和资源,面对网络攻击时还是防不胜防。
不得不正视的问题:各行各业都在面临安全强大的挑战,无论是网络安全还是公司业务安全,包括金融、快消、游戏等行业。而腾讯云利用海量的防御体系、自身的防御以及大数据积累经验,来防御已发生和未发生的安全危机。
2016年大量的视频平台诞生,直播已经覆盖到各行各业,一个全民移动的直播时代已经来临。腾讯云依托快速接入视频点播平台,降低开发成本;点播产品高度融合CDN加速,提高用户观看视频体验;负载均衡保障用户接入冗余度等优势,为视频门户提供完善的视频服务。
此外,市场上电商平台也正面临着大促页面打不开、互动直播玩不转、黑产大军打不败、单IDC不容灾等难题。针对此类现状,腾讯云使用出“必杀技”,来解决传统运维效率低、成本高等问题,助力企业全面提升效率。
腾讯云如何利用自身优势来保护自有的业务安全?又是如何简易的搭建视频网站平台和腾讯云视频的?敬请关注7月27/28日14:00“视频网站/电商平台/金融/快消/游戏行业安全解决方案”直播活动。
点击直播名称进入直播间:“视频网站/电商平台/金融/快消/游戏行业安全解决方案” 查看全部
随着网络应用的广泛普及,信息安全问题日益严峻,信息泄密事件更是令许多企业和组织损失惨重。索尼(Sony)、塔吉特(Target)、摩根大通银行等公司在这方面都有过惨痛的教训。在传统网络安全防御模式下,许多企业即使投入了大量精力和资源,面对网络攻击时还是防不胜防。
不得不正视的问题:各行各业都在面临安全强大的挑战,无论是网络安全还是公司业务安全,包括金融、快消、游戏等行业。而腾讯云利用海量的防御体系、自身的防御以及大数据积累经验,来防御已发生和未发生的安全危机。
2016年大量的视频平台诞生,直播已经覆盖到各行各业,一个全民移动的直播时代已经来临。腾讯云依托快速接入视频点播平台,降低开发成本;点播产品高度融合CDN加速,提高用户观看视频体验;负载均衡保障用户接入冗余度等优势,为视频门户提供完善的视频服务。
此外,市场上电商平台也正面临着大促页面打不开、互动直播玩不转、黑产大军打不败、单IDC不容灾等难题。针对此类现状,腾讯云使用出“必杀技”,来解决传统运维效率低、成本高等问题,助力企业全面提升效率。
腾讯云如何利用自身优势来保护自有的业务安全?又是如何简易的搭建视频网站平台和腾讯云视频的?敬请关注7月27/28日14:00“视频网站/电商平台/金融/快消/游戏行业安全解决方案”直播活动。
点击直播名称进入直播间:“视频网站/电商平台/金融/快消/游戏行业安全解决方案

HDFS常用的一些命令

being 发表了文章 • 0 个评论 • 215 次浏览 • 2017-07-07 14:52 • 来自相关话题

一、文件操作

1、列出HDFS下的文件
/usr/local/hadoop/bin/hadoop dfs -ls2、列出HDFS文件下名为in的文档中的文件
/usr/local/hadoop/bin/hadoop dfs -ls in3、上传文件
将hadoop目录下的test1文件上传到HDFS上并重命名为test
/usr/local/hadoop/bin/hadoop dfs -put test1 test4、文件被复制到本地系统中
将HDFS中的in文件复制到本地系统并命名为getin:
/usr/local/hadoop/bin/hadoop dfs -get in getin5、删除文档
删除HDFS下名为out的文档:
/usr/local/hadoop/bin/hadoop dfs -rmr out6、查看文件
查看HDFS下in文件中的内容:
/usr/local/hadoop/bin/hadoop dfs -cat in/*7、建立目录
/usr/local/hadoop/bin/hadoop dfs -mkdir /user/hadoop/examples(目录/目录名)只能一级一级的建目录。

8、复制文件
/usr/local/hadoop/bin/hadoop dfs -copyFromLocal 源路径 路径9、通过Hadoop命令把两个文件的内容合并起来
hdfs dfs -getmerge 位于hdfs中的原文件(里面有多个文件) 合并后的文件名
例如:
hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult 注:合并后的文件位于当前目录,不在hdfs中,是本地文件.
 

二、管理与更新
 

1、执行基本信息
查看HDFS的基本统计信息:
/usr/local/hadoop/bin/hadoop dfsadmin -report2、退出安全模式
NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何修改。

系统显示Name node in safe mode,说明系统正处于安全模式,这时只需要等待十几秒即可,也可通过下面的命令退出安全模式:
/usr/local/hadoop/bin/hadoop dfsadmin -safemode leave3、进入安全模式
在必要情况下,可以通过以下命令把HDFS置于安全模式:
/usr/local/hadoop/bin/hadoop dfsadmin -safemode enter4、节点添加
添加一个新的DataNode节点,先在新加节点上安装好Hadoop,要和NameNode使用相同的配置(可以直接从NameNode复制),修改$HADOOP_HOME/conf/master文件,加入NameNode主机名。然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件,加入新节点名,再建立新加节点无密码的SSH连接,运行启动命令为:
/usr/local/hadoop/bin/start-all.sh5、负载均衡
HDFS的数据在各个DataNode中的分布可能很不均匀,尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布:
/usr/local/hadoop/bin/start-balancer.sh 查看全部


一、文件操作


1、列出HDFS下的文件
/usr/local/hadoop/bin/hadoop dfs -ls
2、列出HDFS文件下名为in的文档中的文件
/usr/local/hadoop/bin/hadoop dfs -ls in
3、上传文件
将hadoop目录下的test1文件上传到HDFS上并重命名为test
/usr/local/hadoop/bin/hadoop dfs -put test1 test
4、文件被复制到本地系统中
将HDFS中的in文件复制到本地系统并命名为getin:
/usr/local/hadoop/bin/hadoop dfs -get in getin
5、删除文档
删除HDFS下名为out的文档:
/usr/local/hadoop/bin/hadoop dfs -rmr out
6、查看文件
查看HDFS下in文件中的内容:
/usr/local/hadoop/bin/hadoop dfs -cat in/*
7、建立目录
/usr/local/hadoop/bin/hadoop dfs -mkdir /user/hadoop/examples(目录/目录名)
只能一级一级的建目录。

8、复制文件
/usr/local/hadoop/bin/hadoop dfs -copyFromLocal 源路径 路径
9、通过Hadoop命令把两个文件的内容合并起来
hdfs dfs -getmerge 位于hdfs中的原文件(里面有多个文件) 合并后的文件名
例如:
hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult
 注:合并后的文件位于当前目录,不在hdfs中,是本地文件.
 


二、管理与更新
 


1、执行基本信息
查看HDFS的基本统计信息:
/usr/local/hadoop/bin/hadoop dfsadmin -report
2、退出安全模式
NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何修改。

系统显示Name node in safe mode,说明系统正处于安全模式,这时只需要等待十几秒即可,也可通过下面的命令退出安全模式:
/usr/local/hadoop/bin/hadoop dfsadmin -safemode leave
3、进入安全模式
在必要情况下,可以通过以下命令把HDFS置于安全模式:
/usr/local/hadoop/bin/hadoop dfsadmin -safemode enter
4、节点添加
添加一个新的DataNode节点,先在新加节点上安装好Hadoop,要和NameNode使用相同的配置(可以直接从NameNode复制),修改$HADOOP_HOME/conf/master文件,加入NameNode主机名。然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件,加入新节点名,再建立新加节点无密码的SSH连接,运行启动命令为:
/usr/local/hadoop/bin/start-all.sh
5、负载均衡
HDFS的数据在各个DataNode中的分布可能很不均匀,尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布:
/usr/local/hadoop/bin/start-balancer.sh

腾讯发布云实验室、开源开发工具,助力开发者连接AI未来

图灵之歌 发表了文章 • 0 个评论 • 275 次浏览 • 2017-06-26 12:16 • 来自相关话题

当人工智能不再遥不可及,用户像“插上电”一样“接入云”,开发者再次迎来新一波的机遇。在云+未来峰会上,腾讯云正式推出“智能云”。而在6月22日的开发者专场上,腾讯发布面向开发者的云实验室,让未来AI技术唾手可得。

同时预告,针对AI领域,即将开源Angel、NCNN等项目,并表示支撑3000多家企业的腾讯高效开发工具TAPD将在腾讯云开放,以及明年初开放支持移动APP开发的持续集成云平台。
 
现场,腾讯云揭秘内测中的CDN边缘计算,可一次部署全球执行,应用在多个场景。同时腾讯云欢迎开发者参与到Serverless的优化中。以上分享进一步满足人工智能、云计算下开发者的需求(即希望使用更敏捷的开发、更敏捷的基础服务等),降低AI使用门槛,加速AI的落地。
 
著名Angular框架推广者大漠穷秋做了开场演讲,分享互联网的四波浪潮,即桌面互联网、移动互联网时代、云计算时代和人工智能时代。并表示,在桌面互联网时代,开发者或者初创企业想去做一件事情很困难,人工智能时代则不一样,开发者依然有发挥空间,这不只是巨头的红利时代,市场需求背后隐藏的未知领域需要各行业共同开拓。


陈子舜:腾讯云实验室发布,未来技术唾手可得

 

腾讯云技术总监陈子舜分享,“我的一个朋友和我分享他的见闻,‘一个优秀云计算工程师有5家企业在争抢,他们的平均薪资比传统IT人员高出40%’。”他表示,这是一个很好的时代,腾讯云希望将自身拥有的大数据、AI等前沿技术,向开发者开放,让未来技术变得唾手可得。

为此,腾讯云正式发布实验室,为开发者提供从学习工具、实验内容到经验分享的闭环服务,开发者可以获得一站式的沉浸式学习环境,使用微信扫码即可免费领取实验机器,直接采用真实的环境作为实验基础。同时,腾讯云还引入社区+实验室的服务模式,让开发者在技术社区提问或分享经验教程,帮助更多开发者解决问题。

按照腾讯云在开发者社区的计划,不仅为开发者提供开发者实验室,还会提供开源技术、开发工具和文档、线下活动、培训和认证等各类服务。


许勇:腾讯开源在路上,工程师热情参与

 

腾讯研发管理部总监许勇揭秘了腾讯开源之路,从腾讯人的角度,解读腾讯开源的技术。目前,腾讯已经开源的项目有RapidJSON、Tinker、WEUI、Mars、MSEC、Libco、GT、Tars、WCDB等,针对AI领域,腾讯还即将开源AI框架Angel、NCNN等项目,以满足高性能机器学习、天天P图及其他不同应用场景的需求。许勇表示,相比于国外成熟的开源社区,腾讯还在追赶阶段,不过,腾讯正被开源的力量唤醒,和开发者一起把中国的开源做得更好。

许勇致力于腾讯内部开源社区建设及外部开源项目管理,他分享到,腾讯内部开源社区提供了从轻量到重度参与开源的各种形式,可以简简单单的分享片段,也可以分享自己的开源项目,以实现更大的技术价值,建立自己的技术影响力。截止2016年,腾讯内部的开源组件达到了1600个以上,目前的日活跃用户数量在3000以上。

同时腾讯云作为腾讯开源的一支重要力量,积极参与开源社区,最近2个月加入3个开源组织,首先在5月加入CNCF基金会和Linux基金会,在容器服务和KVM虚拟化方面贡献自己的力量,同时于6月加入MariaDB基金会。去年腾讯也加入了Alloyteam基金会,腾讯同时也在运营独立开源社区OpenDaylight,在外界有不错的口碑,并汇聚了一群热心的开发者。腾讯也在积极贡献一些开源项目,包括docker,维护Hadoop、patch的提交等等,越来越多的腾讯工程师热情参与到开源中来。


陆莹:开放腾讯2万多人使用的敏捷研发平台TAPD 

 

面对复杂多变、快速迭代的开发环境,腾讯拥有2万多人的研发团队,同时进行3000多个项目,孕育400多个产品的背景下,如何进行高效合作?

腾讯产品专家陆莹的答案是腾讯敏捷研发平台TAPD,20个模块可以灵活应用,可以自由搭配适合自己研发过程的流程,赋予了团队更多的可能。去年6月份TAPD开始提供给腾讯投资的一些公司和腾讯云部分用户使用,到2017年5月,TAPD已经全面开放注册,目前成功支撑3000多家企业进行敏捷研发协作。 

她表示,将和腾讯云一起将TAPD开放给更多致力敏捷研发的伙伴们,“我们将会分享腾讯近十年的研发协作案例和经验,让腾讯云生态上的小伙伴们都能进行敏捷研发,让协作更敏捷。”


魏文强:腾讯将提供持续集成云平台,开放游戏经验



腾讯互娱持续集成平台负责人魏文强从Why、How两个角度带来了持续集成云平台上的一些思考。他表示,现在竞争越来越激烈,特别是游戏行业,经常是你问产品下一步要做什么事情,可能只有一个大概的方向,但具体做什么不知道,所以要求开发迭代越来越快,周期越来越短。

这样会导致什么问题?软件开发不是在最后产品部署阶段才有云上需求,而是贯穿整个生命周期,从软件开发初始阶段就要考虑云怎么部署。在云上提供集成平台服务,是必做的环节。此外,代码托管、持续集成、项目管理、工具链等云平台逐步发展,带来了持续集成平台的需求。

关于如何做,魏文强从突出自己特色、安全和稳定、构建速度以及最佳实践和灵活替换四个角度作了总结。他表示,在2018年初计划提供优先支持移动APP开发,特别是针对手游做特定优化的持续集成云平台,2018年年中对docker和windows进行支持。
 

余子军:揭秘腾讯云CDN边缘计算,解决多个关键问题

 

腾讯CDN技术总监余子军揭秘内测中的腾讯云CDN边缘计算,这是适应大数据、AI时代对网络加速需求而诞生的服务。余子军现场举例说到,腾讯的用户到腾讯的CDN平均距离是170多公里,如果采用光缆,成本非常昂贵的,而采用CDN可以很好地解决这个问题。

腾讯云CDN边缘计算可以在离用户更近的地方进行计算,一次部署全球执行,更快速更安全。还可以应用在多个场景,灵活敏捷低成本地解决关键问题:
•    图片自适应的场景:根据终端类型、网络状态和请求字段等决策编码方案,支持图片缩放、裁剪、水印等。
•    防盗链和权限控制的场景:可灵活控制全部禁止、部分禁止、限速的结果;还可以用在灰度测试中,新版本发布的时候。
•    控制发布进度的场景:灵活决策新版本的用户范围、设置Cookie标记用户和上报访问日志。


周军:腾讯云CAM应用,如何灵活保障用户信息的安全


 
腾讯云产品总监周军从腾讯云CAM应用案例,分享腾讯如何通过对用户认知、权限验证以及日志审计等各个环节的把控,为用户保障信息的安全、无泄漏。

“简单来说,在用户认证访问时,我们通常先问你是谁,问你想干什么。这些东西验证下来就让账户体系变得很复杂,这就是我们常说的鱼和熊掌不可兼得,安全与便捷也是一样的。”周军说,“如果没有安全问题,很多的服务成本可以去掉,不考虑黑客问题,不考虑别人盗用数据问题,安全是负成本的问题,但是要安全就很可能不便捷。”

为了让账户既安全又便捷,腾讯做了几件事情,第一个事情是账户关联,所有账户体系都支持。第二是认证体系里二次验证变得非常灵活,用户可以采用任何一种方式来验证。周军还提到,腾讯云、企业邮箱、企业微信都做到了账户互通,用户可以用一个企业微信账户体系来授权和管理腾讯云的所有东西。


黄文俊: Serverless让开发者抽离繁重运维

 

腾讯云技术专家黄文俊打了一个比方,一个基因数据公司,利用基因数据进行相应的数据分析,需要面对有各种各样的分析函数,不同的执行流程。为了解决这个问题,首先要准备相应的服务器,让用户提交数据,上传数据;每次提交来做相应执行,再用另外一个服务器接受这些任务,处理这些数据;真正处理数据的程序还要进行开发部署,完成了开发部署还要去规划,究竟要用多大的服务器,多少台服务器来准备,后期服务器的运维又将多么复杂,这是每一个开发者需要烦恼的问题。

“我们能否有一个更好的解决方法?把我们从繁重的运维上抽离出来?”黄文俊说,无服务器计算可以很好地解决这个问题,“这是一个很新的概念,无服务器是不是就没有服务器了?是不是真的Serverless了?不,Serverless不是说没有服务器,而是开发人员和运维人员不需要再考虑服务器,不需要再放太多的精力在上面,而是交给云。”

用户只需要上传代码即可以最便捷的方式使用腾讯云高效稳定的全球基础设施,并可实现毫秒级的弹性伸缩,服务成本低廉,代码按需运行,空闲时不收费。经测试,按调用次数和运行时间付费,在每个月请求不足百万时,使用无服务器云函数比使用多台云主机搭建集群的成本减少约70%,适用于云计算和AI时代下需要低门槛进入技术,以及体验佳的要求。

他提到,这里面有两个核心,一个是Function as a Service,以函数的形式委托到云上来,由云来做顶层管理。还有一个就是Backend as a Service,比如说对象存储、数据库、消息队列或者云的缓存。其中Function as a Service的核心就是腾讯云最新推出的产品——Serverless Cloud Function。目前腾讯云的Serverless架构在内测阶段,非常欢迎开发者积极参与到Serverless无服务器的优化当中,共筑最佳运维环境。

英特尔刘斌:FPGA异构计算的价值在计算力、灵活性、未来可扩展性

 

英特尔可编程解决方案事业部亚太区计算业务总经理刘斌带来FPGA异构计算前沿的分享,“我们看到一个问题,今天谈人工智能,特别是谈更多智能化事物的时候,可能会遇到需要解决感知的问题,需要解决决策的问题,需要解决执行的问题。异构的好处就是,在需要解决多种问题的时候,在计算力、效率灵活性、未来可扩展性上是它的价值所在。”

分享中,刘斌还讲述了异构计算出现的三个推动力,一是强计算、高性能计算的需求;二是数据的存取、访问、缓存的需求;三是成本的需求。他表示,异构计算是为解决问题复杂度而催生出的新技术。

异构的计算是解决现在所出现问题的主要结构,可以提供不同的价值,如何构建异构计算系统并提升开发者的生产力是目前的主要挑战,异构的结构下面是不是还存在其他的东西,是需要发展的方向。未来,异构性是长期存在的,怎么样在高阶上实现开发系统的融合,是短期内需要思考的问题。
  查看全部
当人工智能不再遥不可及,用户像“插上电”一样“接入云”,开发者再次迎来新一波的机遇。在云+未来峰会上,腾讯云正式推出“智能云”。而在6月22日的开发者专场上,腾讯发布面向开发者的云实验室,让未来AI技术唾手可得。

同时预告,针对AI领域,即将开源Angel、NCNN等项目,并表示支撑3000多家企业的腾讯高效开发工具TAPD将在腾讯云开放,以及明年初开放支持移动APP开发的持续集成云平台。
 
现场,腾讯云揭秘内测中的CDN边缘计算,可一次部署全球执行,应用在多个场景。同时腾讯云欢迎开发者参与到Serverless的优化中。以上分享进一步满足人工智能、云计算下开发者的需求(即希望使用更敏捷的开发、更敏捷的基础服务等),降低AI使用门槛,加速AI的落地。
 
著名Angular框架推广者大漠穷秋做了开场演讲,分享互联网的四波浪潮,即桌面互联网、移动互联网时代、云计算时代和人工智能时代。并表示,在桌面互联网时代,开发者或者初创企业想去做一件事情很困难,人工智能时代则不一样,开发者依然有发挥空间,这不只是巨头的红利时代,市场需求背后隐藏的未知领域需要各行业共同开拓。


陈子舜:腾讯云实验室发布,未来技术唾手可得

 

腾讯云技术总监陈子舜分享,“我的一个朋友和我分享他的见闻,‘一个优秀云计算工程师有5家企业在争抢,他们的平均薪资比传统IT人员高出40%’。”他表示,这是一个很好的时代,腾讯云希望将自身拥有的大数据、AI等前沿技术,向开发者开放,让未来技术变得唾手可得。

为此,腾讯云正式发布实验室,为开发者提供从学习工具、实验内容到经验分享的闭环服务,开发者可以获得一站式的沉浸式学习环境,使用微信扫码即可免费领取实验机器,直接采用真实的环境作为实验基础。同时,腾讯云还引入社区+实验室的服务模式,让开发者在技术社区提问或分享经验教程,帮助更多开发者解决问题。

按照腾讯云在开发者社区的计划,不仅为开发者提供开发者实验室,还会提供开源技术、开发工具和文档、线下活动、培训和认证等各类服务。


许勇:腾讯开源在路上,工程师热情参与

 

腾讯研发管理部总监许勇揭秘了腾讯开源之路,从腾讯人的角度,解读腾讯开源的技术。目前,腾讯已经开源的项目有RapidJSON、Tinker、WEUI、Mars、MSEC、Libco、GT、Tars、WCDB等,针对AI领域,腾讯还即将开源AI框架Angel、NCNN等项目,以满足高性能机器学习、天天P图及其他不同应用场景的需求。许勇表示,相比于国外成熟的开源社区,腾讯还在追赶阶段,不过,腾讯正被开源的力量唤醒,和开发者一起把中国的开源做得更好。

许勇致力于腾讯内部开源社区建设及外部开源项目管理,他分享到,腾讯内部开源社区提供了从轻量到重度参与开源的各种形式,可以简简单单的分享片段,也可以分享自己的开源项目,以实现更大的技术价值,建立自己的技术影响力。截止2016年,腾讯内部的开源组件达到了1600个以上,目前的日活跃用户数量在3000以上。

同时腾讯云作为腾讯开源的一支重要力量,积极参与开源社区,最近2个月加入3个开源组织,首先在5月加入CNCF基金会和Linux基金会,在容器服务和KVM虚拟化方面贡献自己的力量,同时于6月加入MariaDB基金会。去年腾讯也加入了Alloyteam基金会,腾讯同时也在运营独立开源社区OpenDaylight,在外界有不错的口碑,并汇聚了一群热心的开发者。腾讯也在积极贡献一些开源项目,包括docker,维护Hadoop、patch的提交等等,越来越多的腾讯工程师热情参与到开源中来。


陆莹:开放腾讯2万多人使用的敏捷研发平台TAPD 

 

面对复杂多变、快速迭代的开发环境,腾讯拥有2万多人的研发团队,同时进行3000多个项目,孕育400多个产品的背景下,如何进行高效合作?

腾讯产品专家陆莹的答案是腾讯敏捷研发平台TAPD,20个模块可以灵活应用,可以自由搭配适合自己研发过程的流程,赋予了团队更多的可能。去年6月份TAPD开始提供给腾讯投资的一些公司和腾讯云部分用户使用,到2017年5月,TAPD已经全面开放注册,目前成功支撑3000多家企业进行敏捷研发协作。 

她表示,将和腾讯云一起将TAPD开放给更多致力敏捷研发的伙伴们,“我们将会分享腾讯近十年的研发协作案例和经验,让腾讯云生态上的小伙伴们都能进行敏捷研发,让协作更敏捷。”


魏文强:腾讯将提供持续集成云平台,开放游戏经验



腾讯互娱持续集成平台负责人魏文强从Why、How两个角度带来了持续集成云平台上的一些思考。他表示,现在竞争越来越激烈,特别是游戏行业,经常是你问产品下一步要做什么事情,可能只有一个大概的方向,但具体做什么不知道,所以要求开发迭代越来越快,周期越来越短。

这样会导致什么问题?软件开发不是在最后产品部署阶段才有云上需求,而是贯穿整个生命周期,从软件开发初始阶段就要考虑云怎么部署。在云上提供集成平台服务,是必做的环节。此外,代码托管、持续集成、项目管理、工具链等云平台逐步发展,带来了持续集成平台的需求。

关于如何做,魏文强从突出自己特色、安全和稳定、构建速度以及最佳实践和灵活替换四个角度作了总结。他表示,在2018年初计划提供优先支持移动APP开发,特别是针对手游做特定优化的持续集成云平台,2018年年中对docker和windows进行支持。
 

余子军:揭秘腾讯云CDN边缘计算,解决多个关键问题

 

腾讯CDN技术总监余子军揭秘内测中的腾讯云CDN边缘计算,这是适应大数据、AI时代对网络加速需求而诞生的服务。余子军现场举例说到,腾讯的用户到腾讯的CDN平均距离是170多公里,如果采用光缆,成本非常昂贵的,而采用CDN可以很好地解决这个问题。

腾讯云CDN边缘计算可以在离用户更近的地方进行计算,一次部署全球执行,更快速更安全。还可以应用在多个场景,灵活敏捷低成本地解决关键问题:
•    图片自适应的场景:根据终端类型、网络状态和请求字段等决策编码方案,支持图片缩放、裁剪、水印等。
•    防盗链和权限控制的场景:可灵活控制全部禁止、部分禁止、限速的结果;还可以用在灰度测试中,新版本发布的时候。
•    控制发布进度的场景:灵活决策新版本的用户范围、设置Cookie标记用户和上报访问日志。


周军:腾讯云CAM应用,如何灵活保障用户信息的安全


 
腾讯云产品总监周军从腾讯云CAM应用案例,分享腾讯如何通过对用户认知、权限验证以及日志审计等各个环节的把控,为用户保障信息的安全、无泄漏。

“简单来说,在用户认证访问时,我们通常先问你是谁,问你想干什么。这些东西验证下来就让账户体系变得很复杂,这就是我们常说的鱼和熊掌不可兼得,安全与便捷也是一样的。”周军说,“如果没有安全问题,很多的服务成本可以去掉,不考虑黑客问题,不考虑别人盗用数据问题,安全是负成本的问题,但是要安全就很可能不便捷。”

为了让账户既安全又便捷,腾讯做了几件事情,第一个事情是账户关联,所有账户体系都支持。第二是认证体系里二次验证变得非常灵活,用户可以采用任何一种方式来验证。周军还提到,腾讯云、企业邮箱、企业微信都做到了账户互通,用户可以用一个企业微信账户体系来授权和管理腾讯云的所有东西。


黄文俊: Serverless让开发者抽离繁重运维

 

腾讯云技术专家黄文俊打了一个比方,一个基因数据公司,利用基因数据进行相应的数据分析,需要面对有各种各样的分析函数,不同的执行流程。为了解决这个问题,首先要准备相应的服务器,让用户提交数据,上传数据;每次提交来做相应执行,再用另外一个服务器接受这些任务,处理这些数据;真正处理数据的程序还要进行开发部署,完成了开发部署还要去规划,究竟要用多大的服务器,多少台服务器来准备,后期服务器的运维又将多么复杂,这是每一个开发者需要烦恼的问题。

“我们能否有一个更好的解决方法?把我们从繁重的运维上抽离出来?”黄文俊说,无服务器计算可以很好地解决这个问题,“这是一个很新的概念,无服务器是不是就没有服务器了?是不是真的Serverless了?不,Serverless不是说没有服务器,而是开发人员和运维人员不需要再考虑服务器,不需要再放太多的精力在上面,而是交给云。”

用户只需要上传代码即可以最便捷的方式使用腾讯云高效稳定的全球基础设施,并可实现毫秒级的弹性伸缩,服务成本低廉,代码按需运行,空闲时不收费。经测试,按调用次数和运行时间付费,在每个月请求不足百万时,使用无服务器云函数比使用多台云主机搭建集群的成本减少约70%,适用于云计算和AI时代下需要低门槛进入技术,以及体验佳的要求。

他提到,这里面有两个核心,一个是Function as a Service,以函数的形式委托到云上来,由云来做顶层管理。还有一个就是Backend as a Service,比如说对象存储、数据库、消息队列或者云的缓存。其中Function as a Service的核心就是腾讯云最新推出的产品——Serverless Cloud Function。目前腾讯云的Serverless架构在内测阶段,非常欢迎开发者积极参与到Serverless无服务器的优化当中,共筑最佳运维环境。

英特尔刘斌:FPGA异构计算的价值在计算力、灵活性、未来可扩展性

 

英特尔可编程解决方案事业部亚太区计算业务总经理刘斌带来FPGA异构计算前沿的分享,“我们看到一个问题,今天谈人工智能,特别是谈更多智能化事物的时候,可能会遇到需要解决感知的问题,需要解决决策的问题,需要解决执行的问题。异构的好处就是,在需要解决多种问题的时候,在计算力、效率灵活性、未来可扩展性上是它的价值所在。”

分享中,刘斌还讲述了异构计算出现的三个推动力,一是强计算、高性能计算的需求;二是数据的存取、访问、缓存的需求;三是成本的需求。他表示,异构计算是为解决问题复杂度而催生出的新技术。

异构的计算是解决现在所出现问题的主要结构,可以提供不同的价值,如何构建异构计算系统并提升开发者的生产力是目前的主要挑战,异构的结构下面是不是还存在其他的东西,是需要发展的方向。未来,异构性是长期存在的,怎么样在高阶上实现开发系统的融合,是短期内需要思考的问题。
 

​大数据与商业智能BI的关系密不可分

OT学习平台 发表了文章 • 0 个评论 • 330 次浏览 • 2017-06-20 16:33 • 来自相关话题

大数据应用的数据来源,主要是包括非机构化的数据、各种系统数据、数据库数据等。而BI大数据应用则是在数据集成方面的技术更加成熟,对于数据的提取和挖掘方面的要求来说,数据集成平台会帮助企业实现数据的流通和交互使用,而企业内部部署BI应用就是为了更好的分享和使用数据。






大数据对于传统BI,既有继承,也有发展;BI与大数据区别在于前者更倾向于决策,对事实描述更多是基于群体共性,帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题,大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策。
BI的发展要从传统的商务智能模式开始转换,对于企业来说,BI不仅仅是一个IT项目,更是一种管理和思维的方式,从技术的部署到业务的流程规划,BI迎来新的发展。对于大数据来说,现阶段更多的大数据关注在非结构化数据,不同的数据分析工具的出现和行内的应用范围不断的加大,对于大数据应用来说,怎么与应用的行业进行一个深层次的结合才是最重要的。

更多关于大数据的知识请关注OTPUB《大数据论坛》
OTpub,专业的IT学习直播平台:www.otpub.com
  查看全部
大数据应用的数据来源,主要是包括非机构化的数据、各种系统数据、数据库数据等。而BI大数据应用则是在数据集成方面的技术更加成熟,对于数据的提取和挖掘方面的要求来说,数据集成平台会帮助企业实现数据的流通和交互使用,而企业内部部署BI应用就是为了更好的分享和使用数据。

大数据与商业智能BI的关系密不可分.jpg


大数据对于传统BI,既有继承,也有发展;BI与大数据区别在于前者更倾向于决策,对事实描述更多是基于群体共性,帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题,大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策。
BI的发展要从传统的商务智能模式开始转换,对于企业来说,BI不仅仅是一个IT项目,更是一种管理和思维的方式,从技术的部署到业务的流程规划,BI迎来新的发展。对于大数据来说,现阶段更多的大数据关注在非结构化数据,不同的数据分析工具的出现和行内的应用范围不断的加大,对于大数据应用来说,怎么与应用的行业进行一个深层次的结合才是最重要的。

更多关于大数据的知识请关注OTPUB《大数据论坛
OTpub,专业的IT学习直播平台:www.otpub.com
 

【直播预告】告别平庸,数据时代就要不一样!

OT学习平台 发表了文章 • 0 个评论 • 249 次浏览 • 2017-06-05 15:44 • 来自相关话题

大数据时代,数据分析对于业务决策的帮助越来越大,它帮助企业中的业务人员在保证数据时效性的前提下,通过自助式数据分析,帮助企业从上到下实现数据化运营。
那么,我们的数据来源于何处呢?流程数据、机器生成数据,当然还有我们产生的数据,因此,无论是从市场环境还是评测机构报告来看,大数据时代已经启动,数据分析也更为重要。

传统报表
无交互、格式固定、实施缓慢






蜕变后的报表
可交互、生成快、可分享






让数据生动起来,左右逢源?Tableau都能帮您实现!

Tableau 整合了您的数据架构,让您用能理解的方式从视觉上分析您的数据。

 Tableau Server
可提供基于浏览器和移动分析的商业智能应用程序。无需编程,即可创建报告和仪表板。






 Tableau Desktop
实时可视化分析实现随心所欲的数据探索,交互式仪表板帮助用户即时发现隐藏的见解。






想深入了解Tableau
机会来了
6月6日14 : 00
“人人都是数据分析师”
直播活动即将开启
技术大神亲授数据分析大法

讲师介绍
林旭
从事Tableau售前工作
通过Tableau银牌和QA等级认证


活动日程
14 : 00-14 : 10 讲师介绍
14 : 10-14 : 30 Tableau如何让数据生动起来
14 : 30-15 : 40 Tableau功能展示及使用技巧
15 : 40-16 : 00 互动答疑
 
点击此处报名观看直播>>> 查看全部
大数据时代,数据分析对于业务决策的帮助越来越大,它帮助企业中的业务人员在保证数据时效性的前提下,通过自助式数据分析,帮助企业从上到下实现数据化运营。
那么,我们的数据来源于何处呢?流程数据、机器生成数据,当然还有我们产生的数据,因此,无论是从市场环境还是评测机构报告来看,大数据时代已经启动,数据分析也更为重要。

传统报表
无交互、格式固定、实施缓慢

【直播预告】告别平庸,数据时代就要不一样!.webp_.jpg


蜕变后的报表
可交互、生成快、可分享

【直播预告】告别平庸,数据时代就要不一样!2.webp_.jpg


让数据生动起来,左右逢源?Tableau都能帮您实现!

Tableau 整合了您的数据架构,让您用能理解的方式从视觉上分析您的数据。

 Tableau Server
可提供基于浏览器和移动分析的商业智能应用程序。无需编程,即可创建报告和仪表板。

【直播预告】告别平庸,数据时代就要不一样!3.webp_.jpg


 Tableau Desktop
实时可视化分析实现随心所欲的数据探索,交互式仪表板帮助用户即时发现隐藏的见解。

【直播预告】告别平庸,数据时代就要不一样!4.webp_.jpg


想深入了解Tableau
机会来了
6月6日14 : 00
“人人都是数据分析师”
直播活动即将开启
技术大神亲授数据分析大法


讲师介绍
林旭
从事Tableau售前工作
通过Tableau银牌和QA等级认证


活动日程
14 : 00-14 : 10 讲师介绍
14 : 10-14 : 30 Tableau如何让数据生动起来
14 : 30-15 : 40 Tableau功能展示及使用技巧
15 : 40-16 : 00 互动答疑
 
点击此处报名观看直播>>>

Hive安装配置

koyo 发表了文章 • 0 个评论 • 326 次浏览 • 2017-05-25 21:52 • 来自相关话题

相比较于 Apache Hive 而言,Cloudera CDH 将 Hive 拆分为一个个独立的服务,如 hive,metastore,hivesever2等。如果在安装配置之前不能弄清楚各个部分的关系,那么安装过程中出现的各种问题也就不能针对性地解决。因此首先分享一下我个人对于hive,metastore 以及 hiveserve2 之间关系的理解。
 
使用 yum 安装 Cloudera CDH Hive 需要分别安装hive,hive-metastore 和 hive-sever2。其中hive是必须安装的,hive-metastore 和 hive-sever2 则根据要求选择安装。
 
启动 hive 之后出现的 CLI 是查询任务的入口,CLI 提交任务给 DriverDriver 接收到任务后调用 Compiler,Executor,Optimizer 将 SQL 语句转化为可以在 Hadoop 集群上执行的 MapReduce 任务Compiler,Executor 从 metastore 获取所需要的元数据信息hivesever2 作为 hivesever 的改进版本,最主要的变化在于提供了全新的命令行窗口 BeeLine。
 
1、使用 yum 安装 Hive 组件
Hive安装:
 
yum install hive
yum install hive-metastore
yum install hive-server2

2、配置 Hive
创建Hive相关文件的存储路径并更改目录权限
hdfs dfs -mkdir -p /usr/hive/warehouse
hdfs dfs -mkdir -p /usr/hive/tmp
hdfs dfs -mkdir -p /usr/hive/log
hdfs dfs -chmod g+w /usr/hive/warehouse
hdfs dfs -chmod g+w /usr/hive/tmp
hdfs dfs -chmod g+w /usr/hive/log配置环境变量
vim /usr/lib/hive/conf/hive-env.shexport HADOOP_HOME=/usr/lib/hadoop
export HIVE_CONF_DIR=/usr/lib/hive/conf
3、配置 MySQL
Metastore默认使用内嵌的Derby数据库存储元数据信息,同时支持多种数据库可做拓展。官网推荐使用MySQL和PostgreSQL,这里只列出MySQL的具体配置过程,有关PostgreSQL的配置过程可查阅官网。

CentOS 7 默认yum源并未包含mysql,需要首先配置repo源:
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装mysql-community-release-el7-5.noarch.rpm包
rpm -ivh mysql-community-release-el7-5.noarch.rpm安装mysql并启动mysql
yum install mysql-server为当前用户分配mysql权限并重启mysql服务
sudo chown -R root:root /var/lib/mysql
service mysqld restart设置root密码
mysql -u rootmysql > use mysql;
mysql > update user set password=password('123456') where user='root';
mysql > exit;创建用于存储元数据的数据库和操作的用户
mysql -uroot -p123456mysql> CREATE DATABASE metastore;
mysql> USE metastore;
mysql> SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.12.0.mysql.sql;
mysql> CREATE USER 'hive'@'metastore' IDENTIFIED BY '123';
mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM 'hive'@'metastorehost';
mysql> GRANT ALL ON metastore.* TO 'hive'@'metastorehost' IDENTIFIED BY 'hive';
mysql> GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';
mysql> FLUSH PRIVILEGES;
mysql> ALTER DATABASE metastore CHARACTER SET latin1;
mysql> quit;
4、配置 Hive Metastore
内嵌模式是metastore 的默认模式,使用 Derby 存储元数据信息,但不支持多用户并发对metastore 操作,不建议在实际环境中使用。这里不再赘述。

下面的本地模式和远程模式均需要使用JDBC才能完成metastore和mysql的通信,需要先添加JDBC驱动包。
$ yum install mysql-connector-java
$ ln -s /usr/share/java/mysql-connector-java.jar /usr/lib/hive/lib/mysql-connector-java.jar

所谓的本地模式和远程模式,指的是metastore和hiveserver的位置关系,而和数据库的位置无关,这一点尤为重要。

 
本地模式:
metastore service 和 HiveServer 运行在同一进程,但是数据库运行在独立的进程,也可以将数据库安装在独立的主机上。内嵌的 metastore 服务和数据库通过 JDBC 通信。

配置方式如下:
vim /usr/lib/hive/conf/hive-site.xml添加如下内容
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://mysqlhost/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<!-- base hdfs path -->
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>格式化数据库
cd /usr/lib/hive/bin$ ./schematool --dbType mysql --initSchema
远程模式:
metastore service运行在独立的JVM进程中,通过配置hive.metastore.uris,进而实现HiveServer,Impala 等进程与 metastore 通信。通过配置javax.jdo.option.ConnectionURL,实现 metastore service 和数据库的通信,这点和本地模式是一样的。上述两个配置选项位于$HIVE_HOME/conf/hive-site.xml。

远程模式的主要优点在于管理员不必向每个hive 用户提供数据库的JDBC的登录信息,保证安全性。用户只需要在hive.metastore.uris中添加metastore的Thirft network API(如thrift://192.168.1.1:9083)即可完成所在客户端与服务端的通信,进而获取元数据信息。

所谓客户端,即可以提交查询任务的hive节点;所谓服务端,即为客户端提供metastore service的客户端。这里的客户端分为两类:
1.通过内嵌的metastore服务直接获取元数据
2.通过配置的hive.metastore.uris访问指定的安装hive-metastore的客户端,进而获取元数据,这时被访问的客户端相对于访问的客户端就称为服务端。

 
服务端配置如下,可以注意到这里的配置和本地模式一致。
 
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://mysqlhost/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<!-- base hdfs path -->
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>格式化数据库cd /usr/lib/hive/bin$ ./schematool --dbType mysql --initSchema客户端配置如下:

<!-- thrift://<host_name>:<port> 默认端口是9083 -->
<property>
<name>hive.metastore.uris</name
<value>thrift://metastorehost:9083</value>
<description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property> <!-- hive表的默认存储路径 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property> 查看全部
相比较于 Apache Hive 而言,Cloudera CDH 将 Hive 拆分为一个个独立的服务,如 hive,metastore,hivesever2等。如果在安装配置之前不能弄清楚各个部分的关系,那么安装过程中出现的各种问题也就不能针对性地解决。因此首先分享一下我个人对于hive,metastore 以及 hiveserve2 之间关系的理解。
 
使用 yum 安装 Cloudera CDH Hive 需要分别安装hive,hive-metastore 和 hive-sever2。其中hive是必须安装的,hive-metastore 和 hive-sever2 则根据要求选择安装。
 
  • 启动 hive 之后出现的 CLI 是查询任务的入口,CLI 提交任务给 Driver
  • Driver 接收到任务后调用 Compiler,Executor,Optimizer 将 SQL 语句转化为可以在 Hadoop 集群上执行的 MapReduce 任务
  • Compiler,Executor 从 metastore 获取所需要的元数据信息
  • hivesever2 作为 hivesever 的改进版本,最主要的变化在于提供了全新的命令行窗口 BeeLine。

 
1、使用 yum 安装 Hive 组件
Hive安装:
 
yum install hive
yum install hive-metastore
yum install hive-server2

2、配置 Hive
创建Hive相关文件的存储路径并更改目录权限
hdfs dfs -mkdir -p /usr/hive/warehouse
hdfs dfs -mkdir -p /usr/hive/tmp
hdfs dfs -mkdir -p /usr/hive/log
hdfs dfs -chmod g+w /usr/hive/warehouse
hdfs dfs -chmod g+w /usr/hive/tmp
hdfs dfs -chmod g+w /usr/hive/log
配置环境变量
vim /usr/lib/hive/conf/hive-env.sh
export HADOOP_HOME=/usr/lib/hadoop
export HIVE_CONF_DIR=/usr/lib/hive/conf

3、配置 MySQL
Metastore默认使用内嵌的Derby数据库存储元数据信息,同时支持多种数据库可做拓展。官网推荐使用MySQL和PostgreSQL,这里只列出MySQL的具体配置过程,有关PostgreSQL的配置过程可查阅官网。

CentOS 7 默认yum源并未包含mysql,需要首先配置repo源:
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
安装mysql-community-release-el7-5.noarch.rpm包
rpm -ivh mysql-community-release-el7-5.noarch.rpm
安装mysql并启动mysql
yum install mysql-server
为当前用户分配mysql权限并重启mysql服务
sudo chown -R root:root /var/lib/mysql
service mysqld restart
设置root密码
mysql -u root
mysql > use mysql; 
mysql > update user set password=password('123456') where user='root';
mysql > exit;
创建用于存储元数据的数据库和操作的用户
mysql -uroot -p123456
mysql> CREATE DATABASE metastore;
mysql> USE metastore;
mysql> SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.12.0.mysql.sql;
mysql> CREATE USER 'hive'@'metastore' IDENTIFIED BY '123';
mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM 'hive'@'metastorehost';
mysql> GRANT ALL ON metastore.* TO 'hive'@'metastorehost' IDENTIFIED BY 'hive';
mysql> GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';
mysql> FLUSH PRIVILEGES;
mysql> ALTER DATABASE metastore CHARACTER SET latin1;
mysql> quit;

4、配置 Hive Metastore
内嵌模式是metastore 的默认模式,使用 Derby 存储元数据信息,但不支持多用户并发对metastore 操作,不建议在实际环境中使用。这里不再赘述。

下面的本地模式和远程模式均需要使用JDBC才能完成metastore和mysql的通信,需要先添加JDBC驱动包。
$ yum install mysql-connector-java
$ ln -s /usr/share/java/mysql-connector-java.jar /usr/lib/hive/lib/mysql-connector-java.jar


所谓的本地模式和远程模式,指的是metastore和hiveserver的位置关系,而和数据库的位置无关,这一点尤为重要。


 
本地模式:
metastore service 和 HiveServer 运行在同一进程,但是数据库运行在独立的进程,也可以将数据库安装在独立的主机上。内嵌的 metastore 服务和数据库通过 JDBC 通信。

配置方式如下:
vim /usr/lib/hive/conf/hive-site.xml
添加如下内容
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://mysqlhost/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<!-- base hdfs path -->
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
格式化数据库
cd /usr/lib/hive/bin$ ./schematool --dbType mysql --initSchema

远程模式:
metastore service运行在独立的JVM进程中,通过配置hive.metastore.uris,进而实现HiveServer,Impala 等进程与 metastore 通信。通过配置javax.jdo.option.ConnectionURL,实现 metastore service 和数据库的通信,这点和本地模式是一样的。上述两个配置选项位于$HIVE_HOME/conf/hive-site.xml。

远程模式的主要优点在于管理员不必向每个hive 用户提供数据库的JDBC的登录信息,保证安全性。用户只需要在hive.metastore.uris中添加metastore的Thirft network API(如thrift://192.168.1.1:9083)即可完成所在客户端与服务端的通信,进而获取元数据信息。


所谓客户端,即可以提交查询任务的hive节点;所谓服务端,即为客户端提供metastore service的客户端。这里的客户端分为两类:
1.通过内嵌的metastore服务直接获取元数据
2.通过配置的hive.metastore.uris访问指定的安装hive-metastore的客户端,进而获取元数据,这时被访问的客户端相对于访问的客户端就称为服务端。


 
服务端配置如下,可以注意到这里的配置和本地模式一致。
 
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://mysqlhost/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<!-- base hdfs path -->
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
格式化数据库
cd /usr/lib/hive/bin$ ./schematool --dbType mysql --initSchema
客户端配置如下:

<!-- thrift://<host_name>:<port> 默认端口是9083 --> 
<property>
<name>hive.metastore.uris</name
<value>thrift://metastorehost:9083</value>
<description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property> <!-- hive表的默认存储路径 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>

Zookeepr参数详解

Rock 发表了文章 • 0 个评论 • 424 次浏览 • 2017-05-24 21:47 • 来自相关话题

zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg,需要将其修改为zoo.cfg。其中各配置项的含义,解释如下:
 
1.tickTime:Client-Server通信心跳时间
tickTime=2000
Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。2.initLimit:Leader-Follower初始通信时限
initLimit=5
集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数(tickTime的数量)。3.syncLimit:Leader-Follower同步通信时限
syncLimit=2
集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数(tickTime的数量)。4.dataDir:数据文件目录
dataDir=/data/zookeeper/data
Zookeeper保存数据的目录,默认情况下,Zookeeper将写数据的日志文件也保存在这个目录里。5.clientPort:客户端连接端口
clientPort=2181
客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。6.服务器名称与地址:集群信息(服务器编号,服务器地址,LF通信端口,选举端口)
这个配置项的书写格式比较特殊,规则如下:
server.N=YYY:A:B
server.1=zk1:2888:3888
server.2=zk2:2888:3888
server.3=zk3:2888:38887.ZK为什么设置为奇数个?
zookeeper有这样一个特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的。也就是说如果有2个zookeeper,那么只要有1个死了zookeeper就不能用了,因为1没有过半,所以2个zookeeper的死亡容忍度为0;同理,要是有3个zookeeper,一个死了,还剩下2个正常的,过半了,所以3个zookeeper的容忍度为1;同理你多列举几个:2 -> 0; 3 -> 1; 4 - >1; 5 -> 2; 6 -> 2会发现一个规律,2n和2n-1的容忍度是一样的,都是n-1,所以为了更加高效,何必增加那一个不必要的zookeeper呢。增加处理能力,哈哈。。。 查看全部
zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg,需要将其修改为zoo.cfg。其中各配置项的含义,解释如下:
 
1.tickTime:Client-Server通信心跳时间
tickTime=2000
Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。
2.initLimit:Leader-Follower初始通信时限
initLimit=5
集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数(tickTime的数量)。
3.syncLimit:Leader-Follower同步通信时限
syncLimit=2 
集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数(tickTime的数量)。
4.dataDir:数据文件目录
dataDir=/data/zookeeper/data
Zookeeper保存数据的目录,默认情况下,Zookeeper将写数据的日志文件也保存在这个目录里。
5.clientPort:客户端连接端口
clientPort=2181
客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
6.服务器名称与地址:集群信息(服务器编号,服务器地址,LF通信端口,选举端口)
这个配置项的书写格式比较特殊,规则如下:
server.N=YYY:A:B
server.1=zk1:2888:3888
server.2=zk2:2888:3888
server.3=zk3:2888:3888
7.ZK为什么设置为奇数个?
zookeeper有这样一个特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的。也就是说如果有2个zookeeper,那么只要有1个死了zookeeper就不能用了,因为1没有过半,所以2个zookeeper的死亡容忍度为0;同理,要是有3个zookeeper,一个死了,还剩下2个正常的,过半了,所以3个zookeeper的容忍度为1;同理你多列举几个:2 -> 0; 3 -> 1; 4 - >1; 5 -> 2; 6 -> 2会发现一个规律,2n和2n-1的容忍度是一样的,都是n-1,所以为了更加高效,何必增加那一个不必要的zookeeper呢。增加处理能力,哈哈。。。

​选择云服务器的小窍门有哪些?

OT学习平台 发表了文章 • 0 个评论 • 278 次浏览 • 2017-05-15 14:59 • 来自相关话题

OTPUB直播活动又双叒叕来喽!
直播主题
老板等等,微软专家找你聊转型!
直播时间
2017年5月16日 14:00-15:00

点击报名>>>
云计算,将云服务器待到了聚光灯下。但选择云服务器是件很困难的事,因为云平台的功能都相差无几。我们货比三家时,建议从细节入手,综合考量,只选对的,不选贵的,选择适配业务需求的云服务器。那么选择云服务器的小窍门有哪些呢?
一、谨记自身需求
云服务器归根到底是为你的业务服务的,因此首先需要明确你对云服务器的需求,比较并评估各种功能,例如虚拟化功能、网络隔离和root权限隔离等。要留意管理和监控处理器、内存、磁盘I/O性能、存储限制等资源管理的功能。确定某个平台能够满足你企业的具体标准之后,再评估成本。
二、网络线路,建议选双线或多线
根据数据中心接入的网络线路,国内云服务器提供电信、联通等单线/双线带宽。建议选择双线。即使你的业务主要面向本地客户群也是如此。因为本地客户的宽带使用状况也不统一,即使中国北方地区也有大量的电信用户。为满足不同网络运营商客户的访问需求,建议选择双线双IP。
三、推荐香港节点
根据部署区域的差异,很多服务商提供国内、香港、韩国、美国等多样化的节点供你选择。国内节点必须备案,美国云服务器连接中国速度慢,因此如果你的业务面向亚太区客户群,个人推荐香港节点。香港节点,一般采用BGP国际多线,支持中国大陆和亚太区极速访问,且大陆南北地区均享高速。更重要的是,香港云服务器免备案,即开即用,你的业务可以最快速度上线,抢占市场先机。如果你的客户群主要分布在北美和欧洲,建议使用美国云服务器。
云服务器
四、云服务器性能测试
选购云服务器前,建议通过性能测试感知云服务器的性能表现(一般很多云服务商都提供测试机型、免费试用、3天无条件退款等,这些都可用于性能测试)。通过对测试IP进行ping、Tracert路由追踪、网站测速工具等可初步把握云服务器的网络连接速度和质量。通过HD Tune等工具测试磁盘性能等。总之,我们需要对云服务器的稳定性、网络稳定性以及软件兼容性等主要方面进行测试,包括云服务器是否宕机、损坏数据恢复能力、是否具备入侵攻击防护、网络延迟和丢包率、软件安装和运行是否正常、软件数据是否兼容等。
以上就是选择云服务器时的小窍门,希望对你有所帮助。最后,我们还要提醒云服务器用户,虽然云服务器拥有多重数据副本、快照备份等机制,但传统的定期本地备份习惯我们也不能丢弃。因为再稳定的云平台也无法保证100%无故障,一旦云平台基础架构出现故障,后果可能是毁灭性的,做好自身网站数据备份并下载到本地保存,是保护我们努力成果的应尽之责,也是防止关键业务数据丢失的最后一道防线。 查看全部
OTPUB直播活动又双叒叕来喽!
直播主题
老板等等,微软专家找你聊转型!
直播时间
2017年5月16日 14:00-15:00

点击报名>>>
云计算,将云服务器待到了聚光灯下。但选择云服务器是件很困难的事,因为云平台的功能都相差无几。我们货比三家时,建议从细节入手,综合考量,只选对的,不选贵的,选择适配业务需求的云服务器。那么选择云服务器的小窍门有哪些呢?
一、谨记自身需求
云服务器归根到底是为你的业务服务的,因此首先需要明确你对云服务器的需求,比较并评估各种功能,例如虚拟化功能、网络隔离和root权限隔离等。要留意管理和监控处理器、内存、磁盘I/O性能、存储限制等资源管理的功能。确定某个平台能够满足你企业的具体标准之后,再评估成本。
二、网络线路,建议选双线或多线
根据数据中心接入的网络线路,国内云服务器提供电信、联通等单线/双线带宽。建议选择双线。即使你的业务主要面向本地客户群也是如此。因为本地客户的宽带使用状况也不统一,即使中国北方地区也有大量的电信用户。为满足不同网络运营商客户的访问需求,建议选择双线双IP。
三、推荐香港节点
根据部署区域的差异,很多服务商提供国内、香港、韩国、美国等多样化的节点供你选择。国内节点必须备案,美国云服务器连接中国速度慢,因此如果你的业务面向亚太区客户群,个人推荐香港节点。香港节点,一般采用BGP国际多线,支持中国大陆和亚太区极速访问,且大陆南北地区均享高速。更重要的是,香港云服务器免备案,即开即用,你的业务可以最快速度上线,抢占市场先机。如果你的客户群主要分布在北美和欧洲,建议使用美国云服务器。
云服务器
四、云服务器性能测试
选购云服务器前,建议通过性能测试感知云服务器的性能表现(一般很多云服务商都提供测试机型、免费试用、3天无条件退款等,这些都可用于性能测试)。通过对测试IP进行ping、Tracert路由追踪、网站测速工具等可初步把握云服务器的网络连接速度和质量。通过HD Tune等工具测试磁盘性能等。总之,我们需要对云服务器的稳定性、网络稳定性以及软件兼容性等主要方面进行测试,包括云服务器是否宕机、损坏数据恢复能力、是否具备入侵攻击防护、网络延迟和丢包率、软件安装和运行是否正常、软件数据是否兼容等。
以上就是选择云服务器时的小窍门,希望对你有所帮助。最后,我们还要提醒云服务器用户,虽然云服务器拥有多重数据副本、快照备份等机制,但传统的定期本地备份习惯我们也不能丢弃。因为再稳定的云平台也无法保证100%无故障,一旦云平台基础架构出现故障,后果可能是毁灭性的,做好自身网站数据备份并下载到本地保存,是保护我们努力成果的应尽之责,也是防止关键业务数据丢失的最后一道防线。

腾讯云正式加入CNCF和Linux基金会

图灵之歌 发表了文章 • 0 个评论 • 558 次浏览 • 2017-05-09 12:16 • 来自相关话题

美国东部时间5月8日,全球知名非营利性组织CNCF (Cloud Native Computing Foundation)在全球开源盛会“2017 OpenStack峰会”上宣布,腾讯云作为金牌会员正式加入CNCF基金会。 

按照规则,基于企业会员对代码的贡献、贡献的标准和规范、为开源组织提供的支持等综合标准,CNCF基金会授予腾讯云金牌会员身份,同时基于腾讯云在Linux领域的积极贡献,腾讯云获CNCF基金会邀请加入Linux基金会。



腾讯云是国内最大的基于Kubernetes提供容器服务的公有云服务商,也是拥有国内最大规模KVM集群的企业。腾讯云加入CNCF和Linux基金会,标志腾讯云深度参与全球开源技术生态圈,在容器服务、KVM虚拟化等重大开源项目的实力已经得到全球核心开源组织和业界的认可,将为腾讯云进一步参与全球开源社区技术交流、参与开源项目开发等领域开拓全新局面。

CNCF及Linux基金会
据悉,CNCF基金会是由Linux 基金会发起的,致力于管理和运转原生云项目,吸纳开源社区和合作伙伴,共同推动Kubernetes以及容器计算发展的非营利组织,其成员包括Docker、Google、Intel、Red Hat、IBM等国际知名科技公司。
 
Linux基金会是全球知名的非营利性的联盟,致力于促进Linux的发展,推动行业产生原创性技术研究和内容,以促进Linux的发展。

腾讯云加入基金会的用户价值
CNCF基金会的执行董事Dan Kohn对腾讯云的加入表示欢迎,他表示,“建立在开源技术上的容器服务正在以难以置信的速度,让公司实现向云计算的迁移,这印证了目前大环境对开源技术的热情和信任。同时,对容器服务的积极采用将助燃一个新兴市场的产生,并让我们的用户立于不败之地。CNCF热烈欢迎新成员加入,我们希望大家可以从基金会和社区中获得帮助和指导,这将进一步夯实CNCF作为提供行业最优实践和云原生生态系统的第三方的重要价值。”

腾讯云专家工程师刘颖表示,容器技术的发展在为中国的云计算提供新思路,对云计算领域产生积极深远的影响,腾讯云在国内提供的容器技术已经帮助大量互联网和传统企业快速构建云原生应用,使企业系统组件化、微服务化,实现持续集成和交付,加快应用迭代,降低开发成本,同时也是实现DevOps的重要支撑。  

腾讯云在CNCF与Linux领域的贡献
在实际的产品设计中,腾讯云的容器技术不仅拥抱开源、支持用户直接调用Kubernetes API,还基于Kubernetes打造了CBS、CLB等产品插件,并在容器网络上以腾讯云私有网络为基础,实现高可靠、高性能的网络方案。三一重工、华尔街见闻APP在面对原系统拆分后微服务架构部署、开发测试应用部署等需求时,均选择使用腾讯云容器服务。

在加入CNCF基金会后,腾讯云将从产品出发,基于大量用户在产品使用中的感受和腾讯云的服务实践,将有价值的特性推送和反馈给社区,与社区一起完善相关特性,同时又从社区中获得广泛的用户反馈,再次回到产品,提升腾讯云的产品体验。比如腾讯云将在未来推送自身的Kubernetes相关特性进入CNCF开源社区,并继续通过Kubernetes的Bugfix,Code Optimization及Design Proposals等方式更多地参与到社区特性开发的工作当中。在这个过程中,腾讯云紧密服务社区,并进一步拓宽技术视野,更深地加入到全球技术交流中 。
  
与此同时,腾讯云多年来一直与Linux开源社区互动,与专注系统底层、高性能加速、解决方案的各类社区保持稳定良性的交流,不断反馈技术成果。腾讯云在云计算基础IaaS关键技术——虚拟机热迁移和稳定方面已经取得了重大成果,设计热迁移过程中内存的快速写保护算法,解决了虚拟机热迁移过程中如虚拟机磁盘IO性能下降、迁移后QCOW2镜像零页写操作等难题,还重构了KVM的RTC计时框架,让windows虚拟机的时钟系统在时钟频率频繁调整的情况下保持精准。 
 
腾讯云在CNCF与Linux社区的计划 
过去,这些成果都由腾讯云以核心patch的方式回馈给CNCF和Linux社区,而加入CNCF和Linux基金会后,基于腾讯云在容器服务的实践,将给予CNCF原生云建设回馈;同时腾讯云基于庞大的用户规模,在虚拟机方面有丰富的研究与实践,将给予Linux社区以巨大的回馈。 
  
刘颖表示,希望能成为全球开源社区的新力量,推动CNCF和Linux的发展,分享腾讯云的经验,为CNCF和Linux的项目做出贡献,腾讯云将与社区紧密联系在一起,为全球用户提供高品质、全能力的技术服务。
 
在数字经济时代,云计算正在改变整体商业的运作模式,而开源技术也在加速企业向云计算迁移的步伐,以及改变云计算领域部署和管理应用的方式。自建立以来,CNCF和Linux基金会始终在推动合作伙伴在社区共同贡献更多的开源技术,腾讯云的加入将有望加速全球技术的发展进程。 
  查看全部
美国东部时间5月8日,全球知名非营利性组织CNCF (Cloud Native Computing Foundation)在全球开源盛会“2017 OpenStack峰会”上宣布,腾讯云作为金牌会员正式加入CNCF基金会。 

按照规则,基于企业会员对代码的贡献、贡献的标准和规范、为开源组织提供的支持等综合标准,CNCF基金会授予腾讯云金牌会员身份,同时基于腾讯云在Linux领域的积极贡献,腾讯云获CNCF基金会邀请加入Linux基金会。



腾讯云是国内最大的基于Kubernetes提供容器服务的公有云服务商,也是拥有国内最大规模KVM集群的企业。腾讯云加入CNCF和Linux基金会,标志腾讯云深度参与全球开源技术生态圈,在容器服务、KVM虚拟化等重大开源项目的实力已经得到全球核心开源组织和业界的认可,将为腾讯云进一步参与全球开源社区技术交流、参与开源项目开发等领域开拓全新局面。

CNCF及Linux基金会
据悉,CNCF基金会是由Linux 基金会发起的,致力于管理和运转原生云项目,吸纳开源社区和合作伙伴,共同推动Kubernetes以及容器计算发展的非营利组织,其成员包括Docker、Google、Intel、Red Hat、IBM等国际知名科技公司。
 
Linux基金会是全球知名的非营利性的联盟,致力于促进Linux的发展,推动行业产生原创性技术研究和内容,以促进Linux的发展。

腾讯云加入基金会的用户价值
CNCF基金会的执行董事Dan Kohn对腾讯云的加入表示欢迎,他表示,“建立在开源技术上的容器服务正在以难以置信的速度,让公司实现向云计算的迁移,这印证了目前大环境对开源技术的热情和信任。同时,对容器服务的积极采用将助燃一个新兴市场的产生,并让我们的用户立于不败之地。CNCF热烈欢迎新成员加入,我们希望大家可以从基金会和社区中获得帮助和指导,这将进一步夯实CNCF作为提供行业最优实践和云原生生态系统的第三方的重要价值。”

腾讯云专家工程师刘颖表示,容器技术的发展在为中国的云计算提供新思路,对云计算领域产生积极深远的影响,腾讯云在国内提供的容器技术已经帮助大量互联网和传统企业快速构建云原生应用,使企业系统组件化、微服务化,实现持续集成和交付,加快应用迭代,降低开发成本,同时也是实现DevOps的重要支撑。  

腾讯云在CNCF与Linux领域的贡献
在实际的产品设计中,腾讯云的容器技术不仅拥抱开源、支持用户直接调用Kubernetes API,还基于Kubernetes打造了CBS、CLB等产品插件,并在容器网络上以腾讯云私有网络为基础,实现高可靠、高性能的网络方案。三一重工、华尔街见闻APP在面对原系统拆分后微服务架构部署、开发测试应用部署等需求时,均选择使用腾讯云容器服务。

在加入CNCF基金会后,腾讯云将从产品出发,基于大量用户在产品使用中的感受和腾讯云的服务实践,将有价值的特性推送和反馈给社区,与社区一起完善相关特性,同时又从社区中获得广泛的用户反馈,再次回到产品,提升腾讯云的产品体验。比如腾讯云将在未来推送自身的Kubernetes相关特性进入CNCF开源社区,并继续通过Kubernetes的Bugfix,Code Optimization及Design Proposals等方式更多地参与到社区特性开发的工作当中。在这个过程中,腾讯云紧密服务社区,并进一步拓宽技术视野,更深地加入到全球技术交流中 。
  
与此同时,腾讯云多年来一直与Linux开源社区互动,与专注系统底层、高性能加速、解决方案的各类社区保持稳定良性的交流,不断反馈技术成果。腾讯云在云计算基础IaaS关键技术——虚拟机热迁移和稳定方面已经取得了重大成果,设计热迁移过程中内存的快速写保护算法,解决了虚拟机热迁移过程中如虚拟机磁盘IO性能下降、迁移后QCOW2镜像零页写操作等难题,还重构了KVM的RTC计时框架,让windows虚拟机的时钟系统在时钟频率频繁调整的情况下保持精准。 
 
腾讯云在CNCF与Linux社区的计划 
过去,这些成果都由腾讯云以核心patch的方式回馈给CNCF和Linux社区,而加入CNCF和Linux基金会后,基于腾讯云在容器服务的实践,将给予CNCF原生云建设回馈;同时腾讯云基于庞大的用户规模,在虚拟机方面有丰富的研究与实践,将给予Linux社区以巨大的回馈。 
  
刘颖表示,希望能成为全球开源社区的新力量,推动CNCF和Linux的发展,分享腾讯云的经验,为CNCF和Linux的项目做出贡献,腾讯云将与社区紧密联系在一起,为全球用户提供高品质、全能力的技术服务。
 
在数字经济时代,云计算正在改变整体商业的运作模式,而开源技术也在加速企业向云计算迁移的步伐,以及改变云计算领域部署和管理应用的方式。自建立以来,CNCF和Linux基金会始终在推动合作伙伴在社区共同贡献更多的开源技术,腾讯云的加入将有望加速全球技术的发展进程。