什么是MYCAT

[]一个彻底开源的，面向企业应用开发的大数据库集群[/][]支持事务、ACID、可以替代MySQL的加强版数据库[/][]一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群[/][]一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server[/][]结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品[/][]一个新颖的数据库中间件产品[/]

Mycat特性

[]支持SQL92标准[/][]遵守Mysql原生协议，跨语言，跨数据库的通用中间件代理。[/][]基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster。[/][]支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster[/][]基于Nio实现，有效管理线程，高并发问题。[/][]支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数。[/][]支持2表join，甚至基于caltlet的多表join。[/][]支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。[/][]支持多租户方案。[/][]支持分布式事务（弱xa）。[/][]支持全局序列号，解决分布式下的主键生成问题。[/][]分片规则丰富，插件化开发，易于扩展。[/][]强大的web，命令行监控。[/][]支持前端作为mysq通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。[/][]支持密码加密[/][]支持IP白名单[/][]支持SQL黑名单、sql注入攻击拦截[/][]集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）。[/]

Mycat架构

Mycat高可用方案

Mycat监控

[]支持对Mycat、Mysql性能监控[/][]支持对Mycat的JVM内存提供监控服务[/][]支持对线程的监控[/][]支持对操作系统的CPU、内存、磁盘、网络的监控[/]

目标

长期规划2.0

[]完全实现分布式事务，完全的支持分布式。[/][]通过Mycat web（eye）完成可视化配置，及智能监控，自动运维。[/][]通过mysql 本地节点，完整的解决数据扩容难度，实现自动扩容机制，解决扩容难点。[/][]支持基于zookeeper的主从切换及Mycat集群化管理。[/][]通过Mycat Balance 替代第三方的Haproxy，LVS等第三方高可用，完整的兼容Mycat集群节点的动态上下线。[/][]接入Spark等第三方工具，解决数据分析及大数据聚合的业务场景。[/][]通过Mycat智能优化，分析分片热点，提供合理的分片建议，索引建议，及数据切分实时业务建议。[/]

优势

基于阿里开源的Cobar产品而研发，Cobar的稳定性、可靠性、优秀的架构和性能以及众多成熟的使用案例使得MYCAT一开始就拥有一个很好的起点，站在巨人的肩膀上，我们能看到更远。业界优秀的开源项目和创新思路被广泛融入到MYCAT的基因中，使得MYCAT在很多方面都领先于目前其他一些同类的开源项目，甚至超越某些商业产品。

MYCAT背后有一支强大的技术团队，其参与者都是5年以上资深软件工程师、架构师、DBA等，优秀的技术团队保证了MYCAT的产品质量。

MYCAT并不依托于任何一个商业公司，因此不像某些开源项目，将一些重要的特性封闭在其商业产品中，使得开源项目成了一个摆设。

Mycat关注

Mycat官方论坛：http://i.mycat.io/forum.php
Mycat Github：https://github.com/MyCATApache
Mycat权威指南第一版_V1.5.1：http://pan.baidu.com/s/1i3SFOpf

最伟大的互联网开源系统Linux

加密互联网的安全协议OpenSSL

数据仓库大王--MySQL

万能开发工具Eclipse

互联网的门卫Apache

大数据的心脏Hadoop

互联网的“排版引擎”WebKit

总结

为什么重新设计一种文件格式

[]支持海量数据扫描并取其中几列；[/][]支持根据主键进行查找，并在压秒级响应；[/][]支持在海量数据进行类似于OLAP的交互式查询，并且查询中涉及到许多过滤条件，这种类型的workload应该在几秒钟内响应；[/][]支持快速地抽取单独的记录，并且从该记录中获取到所有列信息；[/][]支持HDFS，这样客户可以利用现有的Hadoop集群。[/]

CarbonData有啥优势

[]存储数据及其索引：在有过滤的查询中，它可以显著地加速查询性能，减少I/O和CPU资源。CarbonData的索引由多级索引组成，处理框架可以利用这些索引信息来减少调度和一些处理的开销；在任务扫描数据的时候它可以仅仅扫描更细粒度的单元(称为blocklet)，而不需要扫描整个文件。[/][]可操作的编码数据：通过支持高效的压缩和全局编码模式，它可以直接在压缩或者编码的数据上查询，仅仅在需要返回结果的时候才进行转换，这种技术被称为late materialized。[/][]列组：支持多列组成一个列组，并且使用行格式进行存储，这减少了查询时行重建的开销。[/][]支持多种使用场景：比如支持类OLAP风格的交互式查询、顺序存取、随机访问等。[/]

CarbonData文件格式

编译CarbonData

$ git clone https://github.com/HuaweiBigData/carbondata.git

$ cd carbondata

$ mvn -DskipTests clean install 

$ cd carbondata

$ mvn clean install

$ cd carbondata

$ mvn -Pintegration-test clean install

{

    cocktails: {

        // Ingredient quantities are in fluid ounces.

        "Tom Collins": {

            ingredients: [

                { kind: "Farmers Gin", qty: 1.5 },

                { kind: "Lemon", qty: 1 },

                { kind: "Simple Syrup", qty: 0.5 },

                { kind: "Soda", qty: 2 },

                { kind: "Angostura", qty: "dash" },

            ],

            garnish: "Maraschino Cherry",

            served: "Tall",

        },

        Manhattan: {

            ingredients: [

                { kind: "Rye", qty: 2.5 },

                { kind: "Sweet Red Vermouth", qty: 1 },

                { kind: "Angostura", qty: "dash" },

            ],

            garnish: "Maraschino Cherry",

            served: "Straight Up",

        },

    }

}

{

    "cocktails": {



        "Tom Collins": {

            "ingredients": [

                { "kind": "Farmers Gin", "qty": 1.5 },

                { "kind": "Lemon", "qty": 1 },

                { "kind": "Simple Syrup", "qty": 0.5 },

                { "kind": "Soda", "qty": 2 },

                { "kind": "Angostura", "qty": "dash" }

            ],

            "garnish": "Maraschino Cherry",

            "served": "Tall"

        },

        "Manhattan": {

            "ingredients": [

                { "kind": "Rye", "qty": 2.5 },

                { "kind": "Sweet Red Vermouth", "qty": 1 },

                { "kind": "Angostura", "qty": "dash" }

            ],

            "garnish": "Maraschino Cherry",

            "served": "Straight Up"

        }

    }

}

    JsonNet::evaluateFile('bar_menu.1.jsonnet');



    $Snippet = '

    {

        cocktails: {

            // Ingredient quantities are in fluid ounces.

            "Tom Collins": {

                ingredients: [

                    { kind: "Farmers Gin", qty: 1.5 },

                    { kind: "Lemon", qty: 1 },

                    { kind: "Simple Syrup", qty: 0.5 },

                    { kind: "Soda", qty: 2 },

                    { kind: "Angostura", qty: "dash" },

                ],

                garnish: "Maraschino Cherry",

                served: "Tall",

            },

            Manhattan: {

                ingredients: [

                    { kind: "Rye", qty: 2.5 },

                    { kind: "Sweet Red Vermouth", qty: 1 },

                    { kind: "Angostura", qty: "dash" },

                ],

                garnish: "Maraschino Cherry",

                served: "Straight Up",

            },

        }

    }

    ';



    var_dump(JsonNet::evaluateSnippet($Snippet));

Github：https://github.com/Neeke/Jsonnet-PHP
Pecl:  http://pecl.php.net/package/jsonnet 
Gitosc:  http://git.oschina.net/ciogao/Jsonnet-PHP

[]MyCli使用Python Prompt Toolkit编写。[/][]支持语法高亮[/][]当你输入SQL关键字，数据库的表格和列时可自动补全。[/][]智能补全(默认启用)，会提示文本感应的(context-sensitive)补全。[/][]配置文件在第一次启动时，自动创建在~/.myclirc[/]

$ pip install mycli



or



$ easy_install mycli

$ brew update && brew install mycli

 $ curl https://packagecloud.io/gpg.key | apt-key add -

$ apt-get install -y apt-transport-https

$ echo "deb https://packagecloud.io/amjith/mycli/ubuntu/ trusty main" | sudo tee -a /etc/apt/sources.list

$ sudo apt-get update

$ sudo apt-get install mycli

$ sudo yum install python-pip python-devel

$ sudo pip install mycli

项目官网：http://mycli.net/
开源地址：https://github.com/dbcli/mycli

[]打开Web 浏览器，并导航到http://管理平台ip[/][]输入系统管理员用户名和密码（系统默认为admin、password），并单击登录。[/]

[]OVM数据中心支持管理私有的数据中心和公有云资源。[/][]OVM通过远程服务模块管理数据中心和公有云。[/]

[]使用Django框架开发的Salt Stack Web UI[/][]开发语言: python;[/][]后端框架: Django;[/][]前端框架：bootstrap/jquery；[/][]这个项目最初是我个人爱好，不过后来发现，确实能解决目前SaltStack在命令行模式下的部分缺陷；所以，现在公司已经开始在生产使用，这也直接带来一个问题，关于这套系统是否继续开源的思考；[/]

[]RHEL 6.5 x86_64[/][]salt-master 2015.5.3[/][]salt-minion 2015.5.3[/][]salt-api 2015.5.3[/][]Django 1.6.8[/][]python 2.6.6[/][]MySQL 5.5[/][]网卡流量图使用rrdtool(v1.3.8)工具[/]

[]> SaltStack相关功能（部署、更新、维护、远程）代码重构；[/][]> 视图文件拆分，新建立app：saltstack/record/managekeys；[/][]> 使用json格式通过接口传递数据，提高代码重用率；[/][]> 远程操作的jid及返回结果相关信息入库；[/][]> 对返回结果按IP进行排序；[/][]> 返回结果展示按钮增加上下距离；[/][]> 前端各选项左右对齐；[/][]> 远程命令执行返回结果显示优化；[/][]> 取消网卡流量监控；[/]

[]服务器初始化（如模块部署等）[/][]程序、配置更新[/][]日常维护操作[/][]远程命令执行 当对Minion执行操作时，会记录本次目标Minion的数量，然后与返回结果的Minion数量进行对比，找出哪些没有返回结果；当接收到返回结果后，使用bootstrap的模态框显示结果，其中蓝色表示执行成功，红色表示有失败存在，可以点击标签查看详细情况；[/]

分享阅读中文原文：https://www.infoq.com/cn/news/2016/04/Dr-Elephant-LinkedIn
分享于都英文原文：https://engineering.linkedin.com/blog/2016/04/dr-elephant-open-source-self-serve-performance-tuning-hadoop-spark

pip install -r requirements.txt

mysql-5.5.19

subversion-1.6.11-10

rabbitmq-server-3.1.5-1

cobbler-2.6.3-1

a)cobbler服务器

  cobbler-2.6.3-1.el6.noarch

  cobbler-web-2.6.3-1.el6.noarch



b)saltstack服务器

  salt 2014.7.2 

  salt-api-2014.7.2



c)svn服务器

  subversion-1.6.11-11

a)创建登陆用户

  /etc/init.d/mysqld start

  mysqladmin -uroot password opsSAM



b)创建数据库：

  mysql -uroot -popsSAM -e "create database opsSAM;"



c)生成项目数据表：

  cd /your/sitepath/

  python manage.py syncdb



d)创建初始登陆用户admin(密码admin)：

  mysql -uroot -popsSAM -e "insert into opsSAM.opsSAM_users(username,password,admin) values ('admin','f313176847fcc0c82dae8e51e0e40b1d33ec7f0fabf279c164f8541ec99f8a06f473b3b1439a41a898aa2f70f076a59bb671e17bed52471cb9adfee9701a7fb5','是');"

opsSAM.opsSAM.settings.py

opsSAM.opsSAM.settings_local.py

[program:django]



command=/usr/bin/python /your/sitepath/opsSAM/manage.py runserver 0.0.0.0:80

cp scripts/supervisord.conf /etc/

cp scripts/supervisord /etc/init.d/

chmod 755 /etc/init.d/supervisord

/etc/init.d/supervisord start

云端框架v1.0Alpha版​

框架引擎

Python 2.7.9 、Cherrypy 3.6.0 、Mako 1.0.1 

协议分析

[]WEB协议也就是网页版微信 web 协议有web的好处~嘎嘎我就不说了避免XX00[/][]Android/ios协议 市面上很少见。[/]

[]如何使用 搭建好Python环境安装好对应模块 run CherryWeChatSwever.py 代码写的比较渣渣~啦~ 对于新手熟悉CherryPy框架也是不错想选择~[/]

效果展示

ChangeLog 

开源协议

GPL