通常在生产环境新增业务主题，我们都需要提前预测到，然后做好充分的准备，本文将介绍在生产环境中创建Topic时需要考虑的所有参数。

首先创建新Topic的时候，我们需要设置合理的分区数和副本数，不合理的设置将会给系统的性能和可靠性带来影响。

创建一个Topic

kafka/bin/kafka-topics.sh --create \

--zookeeper localhost:2181 \

--replication-factor 2 \

--partitions 3 \

--topic unique-topic-name

分区(Partitions)

Kafka主题分为多个分区，其中包含以不变顺序排列的消息。分区中的每个消息均通过其唯一偏移量进行分配和标识。

分区使我们可以在多个Broker之间分配主题数据，从而平衡Broker之间的负载。每个分区只能由一个Consumer Group使用，因此，服务的并行性受Topic拥有的分区数约束。

分区数受两个主要因素的影响，即消息数和每条消息的平均大小。如果交易量很大，您将需要使用代理数量作为乘法倍数，以允许在所有使用者上共享负载，并避免创建热分区，该分区会对特定代理造成高负载。我们的目标是使分区吞吐量达到1MB/s。

设置分区数:

--partitions [number]

副本(Replicas)

如果leader分区发生故障并且需要跟随者(follower)副本替换它并成为领导者(leader)，则Kafka可以选择复制Topic分区。在配置Topic时，请记住，分区是为实现快速读写速度，可伸缩性和分发大量数据而设计的。

另一方面，复制因子(RF)旨在确保指定的容错目标。副本不会直接影响性能，因为在任何给定时间，只有一个(leader)领导者分区负责通过Broker服务器处理生产者和使用者请求。

在决定复制因子时的另一个考虑因素是，为了满足生产容量会话，需要考虑服务需要的消费者数量。

设置复制因子(RF):
如果你的Topic承载的是关键业务，推荐你设置复制因子为3，其他的设置为2就够了。

--replication-factor [number]

Tips:  但这里需要注意一点的是, RF <= Broker Number

保留(Retention)

将消息保留在Topic中的时间或最大Topic大小。根据你的用例确定。默认情况下，保留期限为7天，但这是可配置的。

设置Retention:

--config retention.ms=[number]

压缩(Compaction)

为了释放空间并清理不需要的记录，Kafka压缩可以根据记录的日期和大小删除记录。它还可以删除具有相同键的每个记录，同时保留该记录的最新版本。基于键的压缩对于控制Topic的大小非常有用，其中只有最新的记录版本才是重要的。

启用压缩:

log.cleanup.policy=compact

分享阅读原文: http://suo.im/5W8p1p

收起阅读 »

    OpenStack作为一款全球化的开源软件，其设计之初的定位就是对于大中型企业，因为这些企业可以派出丰富而强大的技术团队进行深度开发与维护，而对缺乏软件开发和运维能力的传统企业及中小企业来说，易思捷OVM是100%更好的选择。(技术服务qq

群22265939)

[b]OVM是开箱即用的一站式解决方案[/b]

OpenStack的开源软件安装部署对于很多运维人员来说都不陌生，企业大多只提供安装包和简单的安装文档，而这些安装过程大多会涉及到数据库、redis、rabbitmq、ruby等环境的配置，这些配置也要求运维人员学习以上软件的安装部署，否则一步配置错误就会导致整体的安装部署失败，从而造成整个安装部署少则2-3天多则1-2周才能完成的窘境，复杂的安装部署过程让运维人员疲惫不堪。Openstack作为开源产品也不例外，并且 OpenStack可下载的厂商定制版本就有20多个，客户根本不知道应选择哪个版本，更不要说在不同厂商版本之间组合、混搭、迁移了，对于IT投入较小且缺乏专业人才的中小企业而言只能望洋兴叹。

而OVM是面向数据中心的一款开箱即用的免费服务器虚拟化软件，有别于传统的开源软件，OVM安装部署全部（包括管理平台和计算节点）采用一键式的ISO方式，整个安装过程就像是在安装一个Centos操作系统一样的简单，只用花费10-20分钟的过程就可以完成。即使是运维小白，通过OVM提供的ISO镜像也可在1小时内完成整个产品的安装部署。

[b]OVM的稳定性经得起考验[/b]

OVM从架构设计之初就充分考虑到产品的稳定性，并把稳定性放在了第一位。因为作为一款Iaas级的虚拟化管理软件，它不仅仅是一个软件，更是连接用户数据中心的中枢（包括物理机、存储、网络、防火墙、灾备等）。在架构设计上，OVM同时具备了开源软件和商业软件的优点，首先保证产品无单点故障，即管理平台高可用；其次支持分布式部署，将不可预估因素造成的损失降到最小。OVM架构包括分布式和插件式，这两个特点既允许用户将不同的模块和服务部署在同一台Server上面，也可以将其分开部署在多台Server上，大大了提高了部署的灵活性，同时也可将单点故障的风险降到最小。另外OVM引入了Zookeeper、Pacemaker等软件来为OVM提供高可用性，避免单点故障的发生。OVM的每个版本均经过严格的内测，再正式对外发布，每一个环节我们都严把质量关，将稳定性自始至终贯穿到OVM产品的每个环节。

而OpenStack每半年升级一次，每次升级都需要花费大量时间修复bug。根据www.51cto.com做的一项关于OpenStack的用户调查, 33.33%的用户认为OpenStack还不够稳定而且修改难度大。

[b]OVM升级更轻松简单[/b]

对于一个产品来说，迭代升级是必然的事情，未来产品研发规划中， OVM将考虑如何让用户不费吹灰之力就可以升级使用最新版本。最终做到与UI无缝结合，用户只需点击WEB管理平台中的一键升级按钮便可轻松实现版本的快速升级，并且不会影响到业务的正常运行。

而OpenStack的Nova，Swift，Cinder和Neutron分别使用各自的数据库存储配置信息，

要升级就要修改多个数据库schema，做不到热升级。再如，HP作为OpenStack的白金会员在部署网络服务(Neutron)时，遇到了噩梦般的经历，不得不重写网络组件的代码才能达到大规模应用的要求。OpenStack还有一个问题就是半年快速迭代，发布新产品，速度太快，老版本跟不上，理论上，新版本向下兼容，但当一些版本改动较大，加入新功能时，如果企业已经深度应用了旧版本，可能面临技术无法升级，或者需要重度开发的问题。由此说明，OpenStack在集成性、扩展性和实用性上还不足，如果要选用，需要一支专家队伍帮助实施。

[b]OVM可以提供端到端的服务[/b]

易思捷OVM社区作为OVM产品唯一的服务商，提供统一的产品功能和技术服务，以用户需求为导向来提供产品功能，也可以为用户提供端到端的服务保障。

而OpenStack不能提供端到端的服务保障。云平台必备的自动化部署、自动化运维、状态监控、设备管理、可用性检测、安全性、可靠性和平台自修复功能在OpenStack中或者缺失，或者散落在单独产品中。客户拿到手的只是散落的“骨架“，必须通过专业技术人员手工将多厂商、多版本的逐个功能集成起来，这对于中小企业来说显然难度很大。

[b]OVM的架构和性能更优[/b]

与OpenStack笨重的架构对比，OVM更加的轻量级，对于产品初期的按照及后期的运维都要简单得多。众所周知，OpenStack大小模块和组件加起来会有好几十个，要想真正搞懂每个组件，一两个人是无法完成的，是必须要有一个强大的技术团队才能支撑起来的。而且直接使用开源的OpenStack会存在很多bug，无法规模化商用，所以很多企业只能选择商业公司封装的OpenStack版本。另外需要着重说明的是，OpenStack不是产品，只是架构，在开源社区开发的各类版本，只有在“封装”之后才可以使用。一般的企业不具备这种技术实力，需要IT公司帮助实施、运维、开发等工作，这样无疑又加重了企业的总体成本。

综上，与OpenStack相比，易思捷OVM产品架构的设计严格按照商业产品架构的高标准要求，始终把产品的稳定性、易用性、可扩展性，以及产品的高性能放在第一位，秉承“用户是上帝”的理念，为用户提供优质的服务和高品质的产品，让大家共同来使用和见证中国人自己的虚拟化产品！

(技术服务qq群22265939)

收起阅读 »

超融合基础架构，是一种将计算、网络、存储和安全等资源作为基本组成元素，根据系统需求进行选择和预定义的一种技术架构。
深信服紧密围绕客户价值需求，提出了超融合构建的企业级云方案，其在逻辑上分为两个层面：一层是云基础架构层面，通过超融合来实现，只用通用的x86服务器和二三层交换机，通过完全软件定义的方式实现云基础架构；另一层是云管平台，实现底层云基础架构和上层应用的紧密融合。
深信服致力于企业级云解决方案，并一直秉承着“利用创新云化技术，帮助客户打造极简、随需应变、平滑演进的IT新架构”的理念。深信服企业云方案兼具超融合和云管理的独特价值，是数据中心云化的最佳路径。
深信服企业级云，基础架构只有X86服务器和交换机两种设备，使得云数据中心的初始建设成本大幅下降，基于分布式架构，三台一体机就能构建资源池，系统可靠性得到有效保障，而基于模块化标准化的资源池，使建设过程变得非常简单。
云时代，超融合已成为当前云计算基础架构领域最大的热点，如何构建企业级云？最先进的超融合架构什么样？8月29日14:00“大话超融合——全融合云IT帮您轻松上云”直播活动即将开启，听听超融合领域资深专家为您指点迷津。

直播间地址：http://www.otpub.com/home/live/live/liveid/10038.html 收起阅读 »

目前，云计算，大数据等概念已经深入人心。不过时至今日，云计算到底是什么，恐怕还是有很多人不知如何回答？那么，云计算又和网格计算、自主计算等有什么差异呢？本文将着重为您解析，云计算和网格计算的区别之处。
所谓云计算，在国际上的定义多达数百种，其中比较权威的应该是美国国家标准与技术研究员（NIST）的解释：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。
简单的来说，所谓云计算就是利用在Internet中可用的计算系统，能够支持互联网各类应用的系统。云计算是以第三方拥有的机制提供服务，为了完成功能，用户只关心需要的服务。
网格计算，即分布式计算，是一门计算机科学，他主要的目的是如何把一个需要非常巨大的计算能力才能解决的问题拆分成若干部分，然后把这些部分分配给多台计算机进行处理，最后汇总所有的计算结果而得出最终结果。
云计算可以说是网格计算的衍生品，能够根据需要提供资源，一般情况下，云计算采用计算机集群构成数据中心，并以服务的形势提供给客户，让客户可以像使用水、电一样按需购买资源，从这个角度来看，云计算和网格计算的目标是非常相似的。

云计算和网格计算的不同点

云计算和网格计算都是可伸缩的。可伸缩性是通过独立运行在通过Web服务连接的各种操作系统上的应用程序实例的负载平衡实现的。CPU和网络带宽根据需要分配和回收。系统存储能力根据特定时间的用户数量、实例的数量和传输的数据量进行调整。
相对于强调异构资源共享的网格计算，云计算更强调大规模资源池的分享，通过分享提高资源复用率，并利用规模经济降低运行成本；而网格计算常用于集中大量资源来执行一些大型任务。
通常，网格计算关注的是计算量非常大的操作。网格计算要求软件的使用可以分为多个部分，将程序的片段作为大的系统映像传递给几千个计算机中。这其中系统软硬件成本以及运营的成本都非常高。而相比之下，云计算需要考虑经济成本，因此硬件设备、软件平台的设计不再一味追求高性能，而要综合考虑成本、可用性、可靠性等因素。
简言之，云计算是以相对集中的资源，运行分散的应用；而网格计算则是聚合分散的资源，支持大型集中式应用。

了解更多云计算知识请登录OTPUB领先IT学习直播平台：www.otpub.com 收起阅读 »

随着应用BI系统的广泛应用，数据治理的话题也越来越受到企业的关注和讨论，有专家表示，如果想让用户进入真正的商业智能时代，就必须建立一定的数据治理体系；而大数据治理能够在短期内成为业内的焦点，这和企业对大数据质量的理解和密切关注有很大关系。

大数据治理面临的挑战：规模庞大，标准不一

过去几年，企业的IT系统经历了数据量高速膨胀的一个时期，这些海量的，分散在不同服务器的数据提高了数据资源利用的复杂性和管理难度；另外，各个企业内部的业务区分和行政区分也对企业数据的交互造成了一定的断层，而企业与外部业务交互所产生的“体外循环”数据与企业的核心数据体系并不能自然地融合。当这种数据的异构化所导致的应用冲突达到一定临界点时，数据治理便成为了规范企业数据的必要步骤。

大数据治理技术：主题众多，元数据管理先行

数据治理涉及的IT技术主题众多，包括元数据管理、主数据管理、数据质量、数据集成、监控与报告等。在很多国际企业中，元数据管理的重要性在全部技术主题中位列第一。

元数据管理是语义工具，其重要性在于，它能够为数据治理建立一套数据资料库，存储治理范围内的数据定义，负责人，来源，转换关系，目标，质量等级，依赖关系，安全权限等。这些信息对于商业整合，数据质量，可审计性等数据治理目标的实现至关重要。

元数据管理是实施数据治理的核心IT技术，有效的元数据管理将为数据质量、数据集成等技术的实施，以及数据治理目标的最终实现奠定坚实的基础。

大数据治理的意义：发掘数据资产的商业价值

大数据治理是为了将数据作为企业商业资产进行应用和管理的一套数据管理机制，能够通过建立规范的数据应用标准，消除数据的不一致性，来提高数据的质量，并能合理的将数据应用于企业的业务管理和战略决策中，充分的发挥数据的商业价值，良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。
 
了解更多大数据相关知识请进入OTPUB官网：www.otpub.com 收起阅读 »

随着云、终端、移动化的快速推进，企业用户最担心的还是关于技术架构层、网络层管控等方面的难题。而通过第三方调研报告的反馈，也表明企业向公有云迁移最担心的还是安全问题。

迁移至云端面临哪些挑战？

安全、隐私和合规问题
关键任务管理或者工作负载均衡问题
数据中心迁徙至公有云可能遇到的难题
BYOD、Web 2.0应用程序、远程访问等安全隐患

面对上述难题，梭子鱼云安全解决方案都能为您化解，为用户在云环境下所运行或建立的应用或网络提供企业级安全解决方案和服务。

梭子鱼Web应用防火墙

梭子鱼Web应用防火墙，阻断以您的 Web 服务器上的应用为目标，不断涌现和复杂的基于 Web 的入侵和攻击—和保护敏感的或者机密的数据免遭窃取。

综合应用安全：
1、持续防御新兴威胁
2、可拓展的应用安全
3、细粒度身份和访问管理
梭子鱼下一代防火墙F系列
梭子鱼下一代防火墙F系列是梭子鱼防火墙的云时代。它将先进的下一代防火墙、链路平衡和 WAN 优化技术整合到一个能够进行内部部署、云和虚拟部署的易于管理的设备中。F系列允许组织和托管服务提供商安全地启用远程 Internet 分支，而无需回程流量。

下一代防火墙为公/私有云提供：
1、安全的访问 AWS
2、完整应用控制
3、智能流量管理
4、细粒度安全策略管理

梭子鱼始终为用户在云环境下所运行、建立的应用或网络提供企业级安全解决方案和服务。
企业迁移至云端面临的安全、隐私及合规问题如何解决？梭子鱼如何利用 Web 防火墙化解企业数据迁移至云端难题？答案尽在8月22日14:00由OTPUB举行的“梭子鱼云安全解决方案”线上直播活动。
 
点击后方字体进入直播间：“梭子鱼云安全解决方案” 收起阅读 »

由于成本的降低和业务的便捷性，越来越多的企业将自己的IT系统迁移到云端，而在迁移的过程中，从基础设施的部署到云平台的挑战都十分的具有挑战性，在迁移过程中，企业IT管理着最需要重视的一个问题就是：如何保证云迁移的安全，减少迁移风险。
为了降低向云端迁移的风险，保证数据的安全性，OTPUB认为企业可以通过下面三种方法着手策划数据向云的迁移。 
第一种方法是指将本地硬件或虚拟机上的数据迁移到与之相匹配的云上。该解决方案缺乏弹性，该方案通常是为了满足峰值负载而过度供应，这就会导致了云计算成本的增加，因此这种方法作为一种短期解决措施会更佳。
第二种方法是指对企业的应用技术进行重新架构。数据迁移需要花费一定时间，而且具有较强的强制性，而对企业技术进行重新架构反而会获得更好的性能。的确，重新对应用技术的选择进行评估也不失为一种更好的选择。因为企业可能会将一些解决方案从使用昂贵的商业软件转向开源产品上来。
第三种方法是搁置单一的本地应用程序，将程序内部数据迁移到SaaS。这种方法既实现了业务的现代化标准，又将基础架构和服务的运营负担转嫁给了SaaS提供商。
以上三种方法可以让企业在最佳情况下完成数据由本地向云端的迁移，同时最大限度的保证了迁移过程中数据的安全性。 收起阅读 »

随着网络应用的广泛普及，信息安全问题日益严峻，信息泄密事件更是令许多企业和组织损失惨重。索尼(Sony)、塔吉特(Target)、摩根大通银行等公司在这方面都有过惨痛的教训。在传统网络安全防御模式下，许多企业即使投入了大量精力和资源，面对网络攻击时还是防不胜防。
不得不正视的问题：各行各业都在面临安全强大的挑战，无论是网络安全还是公司业务安全，包括金融、快消、游戏等行业。而腾讯云利用海量的防御体系、自身的防御以及大数据积累经验，来防御已发生和未发生的安全危机。
2016年大量的视频平台诞生，直播已经覆盖到各行各业，一个全民移动的直播时代已经来临。腾讯云依托快速接入视频点播平台，降低开发成本；点播产品高度融合CDN加速，提高用户观看视频体验；负载均衡保障用户接入冗余度等优势，为视频门户提供完善的视频服务。
此外，市场上电商平台也正面临着大促页面打不开、互动直播玩不转、黑产大军打不败、单IDC不容灾等难题。针对此类现状，腾讯云使用出“必杀技”，来解决传统运维效率低、成本高等问题，助力企业全面提升效率。
腾讯云如何利用自身优势来保护自有的业务安全？又是如何简易的搭建视频网站平台和腾讯云视频的？敬请关注7月27/28日14:00“视频网站/电商平台/金融/快消/游戏行业安全解决方案”直播活动。
点击直播名称进入直播间：“视频网站/电商平台/金融/快消/游戏行业安全解决方案” 收起阅读 »

一、文件操作

1、列出HDFS下的文件

/usr/local/hadoop/bin/hadoop dfs -ls

2、列出HDFS文件下名为in的文档中的文件

/usr/local/hadoop/bin/hadoop dfs -ls in

3、上传文件
将hadoop目录下的test1文件上传到HDFS上并重命名为test

/usr/local/hadoop/bin/hadoop dfs -put test1 test

4、文件被复制到本地系统中
将HDFS中的in文件复制到本地系统并命名为getin：

/usr/local/hadoop/bin/hadoop dfs -get in getin

5、删除文档
删除HDFS下名为out的文档：

/usr/local/hadoop/bin/hadoop dfs -rmr out

6、查看文件
查看HDFS下in文件中的内容：

/usr/local/hadoop/bin/hadoop dfs -cat in/*

7、建立目录

/usr/local/hadoop/bin/hadoop dfs -mkdir /user/hadoop/examples（目录/目录名）

只能一级一级的建目录。

8、复制文件

/usr/local/hadoop/bin/hadoop dfs -copyFromLocal 源路径 路径

9、通过Hadoop命令把两个文件的内容合并起来

hdfs dfs -getmerge 位于hdfs中的原文件（里面有多个文件） 合并后的文件名

例如：

hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult

 注：合并后的文件位于当前目录，不在hdfs中，是本地文件.
 

二、管理与更新
 

1、执行基本信息
查看HDFS的基本统计信息：

/usr/local/hadoop/bin/hadoop dfsadmin -report

2、退出安全模式
NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。

系统显示Name node in safe mode，说明系统正处于安全模式，这时只需要等待十几秒即可，也可通过下面的命令退出安全模式：

/usr/local/hadoop/bin/hadoop dfsadmin -safemode leave

3、进入安全模式
在必要情况下，可以通过以下命令把HDFS置于安全模式：

/usr/local/hadoop/bin/hadoop dfsadmin -safemode enter

4、节点添加
添加一个新的DataNode节点，先在新加节点上安装好Hadoop，要和NameNode使用相同的配置（可以直接从NameNode复制），修改$HADOOP_HOME/conf/master文件，加入NameNode主机名。然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件，加入新节点名，再建立新加节点无密码的SSH连接，运行启动命令为：

/usr/local/hadoop/bin/start-all.sh

5、负载均衡
HDFS的数据在各个DataNode中的分布可能很不均匀，尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布：

/usr/local/hadoop/bin/start-balancer.sh

收起阅读 »

当人工智能不再遥不可及，用户像“插上电”一样“接入云”，开发者再次迎来新一波的机遇。在云+未来峰会上，腾讯云正式推出“智能云”。而在6月22日的开发者专场上，腾讯发布面向开发者的云实验室，让未来AI技术唾手可得。

同时预告，针对AI领域，即将开源Angel、NCNN等项目，并表示支撑3000多家企业的腾讯高效开发工具TAPD将在腾讯云开放，以及明年初开放支持移动APP开发的持续集成云平台。
 
现场，腾讯云揭秘内测中的CDN边缘计算，可一次部署全球执行，应用在多个场景。同时腾讯云欢迎开发者参与到Serverless的优化中。以上分享进一步满足人工智能、云计算下开发者的需求（即希望使用更敏捷的开发、更敏捷的基础服务等），降低AI使用门槛，加速AI的落地。
 
著名Angular框架推广者大漠穷秋做了开场演讲，分享互联网的四波浪潮，即桌面互联网、移动互联网时代、云计算时代和人工智能时代。并表示，在桌面互联网时代，开发者或者初创企业想去做一件事情很困难，人工智能时代则不一样，开发者依然有发挥空间，这不只是巨头的红利时代，市场需求背后隐藏的未知领域需要各行业共同开拓。


陈子舜：腾讯云实验室发布，未来技术唾手可得

 

腾讯云技术总监陈子舜分享，“我的一个朋友和我分享他的见闻，‘一个优秀云计算工程师有5家企业在争抢，他们的平均薪资比传统IT人员高出40%’。”他表示，这是一个很好的时代，腾讯云希望将自身拥有的大数据、AI等前沿技术，向开发者开放，让未来技术变得唾手可得。

为此，腾讯云正式发布实验室，为开发者提供从学习工具、实验内容到经验分享的闭环服务，开发者可以获得一站式的沉浸式学习环境，使用微信扫码即可免费领取实验机器，直接采用真实的环境作为实验基础。同时，腾讯云还引入社区+实验室的服务模式，让开发者在技术社区提问或分享经验教程，帮助更多开发者解决问题。

按照腾讯云在开发者社区的计划，不仅为开发者提供开发者实验室，还会提供开源技术、开发工具和文档、线下活动、培训和认证等各类服务。


许勇：腾讯开源在路上，工程师热情参与

 

腾讯研发管理部总监许勇揭秘了腾讯开源之路，从腾讯人的角度，解读腾讯开源的技术。目前，腾讯已经开源的项目有RapidJSON、Tinker、WEUI、Mars、MSEC、Libco、GT、Tars、WCDB等，针对AI领域，腾讯还即将开源AI框架Angel、NCNN等项目，以满足高性能机器学习、天天P图及其他不同应用场景的需求。许勇表示，相比于国外成熟的开源社区，腾讯还在追赶阶段，不过，腾讯正被开源的力量唤醒，和开发者一起把中国的开源做得更好。

许勇致力于腾讯内部开源社区建设及外部开源项目管理，他分享到，腾讯内部开源社区提供了从轻量到重度参与开源的各种形式，可以简简单单的分享片段，也可以分享自己的开源项目，以实现更大的技术价值，建立自己的技术影响力。截止2016年，腾讯内部的开源组件达到了1600个以上，目前的日活跃用户数量在3000以上。

同时腾讯云作为腾讯开源的一支重要力量，积极参与开源社区，最近2个月加入3个开源组织，首先在5月加入CNCF基金会和Linux基金会，在容器服务和KVM虚拟化方面贡献自己的力量，同时于6月加入MariaDB基金会。去年腾讯也加入了Alloyteam基金会，腾讯同时也在运营独立开源社区OpenDaylight，在外界有不错的口碑，并汇聚了一群热心的开发者。腾讯也在积极贡献一些开源项目，包括docker，维护Hadoop、patch的提交等等，越来越多的腾讯工程师热情参与到开源中来。


陆莹：开放腾讯2万多人使用的敏捷研发平台TAPD 

 

面对复杂多变、快速迭代的开发环境，腾讯拥有2万多人的研发团队，同时进行3000多个项目，孕育400多个产品的背景下，如何进行高效合作？

腾讯产品专家陆莹的答案是腾讯敏捷研发平台TAPD，20个模块可以灵活应用，可以自由搭配适合自己研发过程的流程，赋予了团队更多的可能。去年6月份TAPD开始提供给腾讯投资的一些公司和腾讯云部分用户使用，到2017年5月，TAPD已经全面开放注册，目前成功支撑3000多家企业进行敏捷研发协作。 

她表示，将和腾讯云一起将TAPD开放给更多致力敏捷研发的伙伴们，“我们将会分享腾讯近十年的研发协作案例和经验，让腾讯云生态上的小伙伴们都能进行敏捷研发，让协作更敏捷。”


魏文强：腾讯将提供持续集成云平台，开放游戏经验



腾讯互娱持续集成平台负责人魏文强从Why、How两个角度带来了持续集成云平台上的一些思考。他表示，现在竞争越来越激烈，特别是游戏行业，经常是你问产品下一步要做什么事情，可能只有一个大概的方向，但具体做什么不知道，所以要求开发迭代越来越快，周期越来越短。

这样会导致什么问题？软件开发不是在最后产品部署阶段才有云上需求，而是贯穿整个生命周期，从软件开发初始阶段就要考虑云怎么部署。在云上提供集成平台服务，是必做的环节。此外，代码托管、持续集成、项目管理、工具链等云平台逐步发展，带来了持续集成平台的需求。

关于如何做，魏文强从突出自己特色、安全和稳定、构建速度以及最佳实践和灵活替换四个角度作了总结。他表示，在2018年初计划提供优先支持移动APP开发，特别是针对手游做特定优化的持续集成云平台，2018年年中对docker和windows进行支持。
 

余子军：揭秘腾讯云CDN边缘计算，解决多个关键问题

 

腾讯CDN技术总监余子军揭秘内测中的腾讯云CDN边缘计算，这是适应大数据、AI时代对网络加速需求而诞生的服务。余子军现场举例说到，腾讯的用户到腾讯的CDN平均距离是170多公里，如果采用光缆，成本非常昂贵的，而采用CDN可以很好地解决这个问题。

腾讯云CDN边缘计算可以在离用户更近的地方进行计算，一次部署全球执行，更快速更安全。还可以应用在多个场景，灵活敏捷低成本地解决关键问题：
•    图片自适应的场景：根据终端类型、网络状态和请求字段等决策编码方案，支持图片缩放、裁剪、水印等。
•    防盗链和权限控制的场景：可灵活控制全部禁止、部分禁止、限速的结果；还可以用在灰度测试中，新版本发布的时候。
•    控制发布进度的场景：灵活决策新版本的用户范围、设置Cookie标记用户和上报访问日志。


周军：腾讯云CAM应用，如何灵活保障用户信息的安全


 
腾讯云产品总监周军从腾讯云CAM应用案例，分享腾讯如何通过对用户认知、权限验证以及日志审计等各个环节的把控，为用户保障信息的安全、无泄漏。

“简单来说，在用户认证访问时，我们通常先问你是谁，问你想干什么。这些东西验证下来就让账户体系变得很复杂，这就是我们常说的鱼和熊掌不可兼得，安全与便捷也是一样的。”周军说，“如果没有安全问题，很多的服务成本可以去掉，不考虑黑客问题，不考虑别人盗用数据问题，安全是负成本的问题，但是要安全就很可能不便捷。”

为了让账户既安全又便捷，腾讯做了几件事情，第一个事情是账户关联，所有账户体系都支持。第二是认证体系里二次验证变得非常灵活，用户可以采用任何一种方式来验证。周军还提到，腾讯云、企业邮箱、企业微信都做到了账户互通，用户可以用一个企业微信账户体系来授权和管理腾讯云的所有东西。


黄文俊： Serverless让开发者抽离繁重运维

 

腾讯云技术专家黄文俊打了一个比方，一个基因数据公司，利用基因数据进行相应的数据分析，需要面对有各种各样的分析函数，不同的执行流程。为了解决这个问题，首先要准备相应的服务器，让用户提交数据，上传数据；每次提交来做相应执行，再用另外一个服务器接受这些任务，处理这些数据；真正处理数据的程序还要进行开发部署，完成了开发部署还要去规划，究竟要用多大的服务器，多少台服务器来准备，后期服务器的运维又将多么复杂，这是每一个开发者需要烦恼的问题。

“我们能否有一个更好的解决方法？把我们从繁重的运维上抽离出来？”黄文俊说，无服务器计算可以很好地解决这个问题，“这是一个很新的概念，无服务器是不是就没有服务器了？是不是真的Serverless了？不，Serverless不是说没有服务器，而是开发人员和运维人员不需要再考虑服务器，不需要再放太多的精力在上面，而是交给云。”

用户只需要上传代码即可以最便捷的方式使用腾讯云高效稳定的全球基础设施，并可实现毫秒级的弹性伸缩，服务成本低廉，代码按需运行，空闲时不收费。经测试，按调用次数和运行时间付费，在每个月请求不足百万时，使用无服务器云函数比使用多台云主机搭建集群的成本减少约70%，适用于云计算和AI时代下需要低门槛进入技术，以及体验佳的要求。

他提到，这里面有两个核心，一个是Function as a Service，以函数的形式委托到云上来，由云来做顶层管理。还有一个就是Backend as a Service，比如说对象存储、数据库、消息队列或者云的缓存。其中Function as a Service的核心就是腾讯云最新推出的产品——Serverless Cloud Function。目前腾讯云的Serverless架构在内测阶段，非常欢迎开发者积极参与到Serverless无服务器的优化当中，共筑最佳运维环境。

英特尔刘斌：FPGA异构计算的价值在计算力、灵活性、未来可扩展性

 

英特尔可编程解决方案事业部亚太区计算业务总经理刘斌带来FPGA异构计算前沿的分享，“我们看到一个问题，今天谈人工智能，特别是谈更多智能化事物的时候，可能会遇到需要解决感知的问题，需要解决决策的问题，需要解决执行的问题。异构的好处就是，在需要解决多种问题的时候，在计算力、效率灵活性、未来可扩展性上是它的价值所在。”

分享中，刘斌还讲述了异构计算出现的三个推动力，一是强计算、高性能计算的需求；二是数据的存取、访问、缓存的需求；三是成本的需求。他表示，异构计算是为解决问题复杂度而催生出的新技术。

异构的计算是解决现在所出现问题的主要结构，可以提供不同的价值，如何构建异构计算系统并提升开发者的生产力是目前的主要挑战，异构的结构下面是不是还存在其他的东西，是需要发展的方向。未来，异构性是长期存在的，怎么样在高阶上实现开发系统的融合，是短期内需要思考的问题。
  收起阅读 »