用一个平台处理多模数据，中国星环科技大数据平台做到了！
发布时间：2020-05-22 03:28:13 所属栏目：经验 来源：中国软件网
导读：2003年一场SARS，让电商风起，普通消费者融入电商。2020年新冠疫情，让更多的企业家走进直播，视野被打开，更多传统产业不得不加速数字化。一个更为广阔的产业互联网时代已经来临，数字化转型已经真正的深入到每一个传统产业和传统企业当中。在这个令人激动
2003年一场SARS，让电商风起，普通消费者融入电商。
2020年新冠疫情，让更多的企业家走进直播，视野被打开，更多传统产业不得不加速数字化。
一个更为广阔的产业互联网时代已经来临，数字化转型已经真正的深入到每一个传统产业和传统企业当中。
在这个令人激动的数字时代，大数据技术正在与云计算、5G、AI等新技术融合，落地速度前所未有的加快。
2020年5月15日，星环科技全面升级了大数据、云计算、AI为主的三条产品线，并发布了新一代搜索产品Transwarp New Search、知识图谱全栈解决方案、基于边缘计算的云边一体AIoT解决方案、基于人工智能和复杂网络的实时反欺诈解决方案等，展现了中国大数据基础软件与平台企业创新成果，让中国用户更好的利用日益增加的数据，发现数据中的价值。
1.用户呼唤多模型的数据处理平台
星环科技的创始人孙元浩介绍说，2008年开始，大数据平台就是一组技术或者工具的组合。
在2013年创业时，星环科技认为光靠工具的组合不足以解决大数据的问题，必须用产品来解决大数据的4个V——数据量大、数据种类多、数据实时性高、要从数据中发掘价值。因此，星环推出Inceptor、Hyperbase、Slipstream、Discover等产品，分别解决大数据的面临的4V挑战。
到了2020年，对于一些单一的典型场景，市场上出现不同的产品，有了知名的解决方案，解决数据的多样性。例如：结构化数据使用Hive；动态列模型使用Bigtable、Hbase；文档处理使用MogoDB；图数据使用Neo4j；搜索引擎ElasticSearch，等等。
但是这些产品都是孤立的，每一个或者类只能解决一类问题，不得不采用不同种类的数据库，并把它混在一起，需要将数据复制很多份，成本高，效率低。
今天，客户对这种架构越来越难容忍，希望能用一套大数据平台，解决各种复杂的数据结构问题。具体而言，客户希望用一个统一的数据平台，处理多种数据模型，并能够提供统一的编程语言、统一的计算引擎，使用统一的存储管理系统、统一的资源调度系统，支持多种不同的数据模型。
目前，大数据行业一个明显的发展趋势就是推出一个统一的大数据平台，能够处理多种数据模型，能够提供统一的编程语言、统一的计算引擎，使用统一的存储管理系统、统一的资源调度系统，能够支持多种不同的数据模型。
孙元浩说：“我们把这个统一的大数据平台，称为多模型异构的数据处理平台。”
2.一站式大数据平台解决大数据4V
Transwarp Data Hub（TDH）是星环科技推出的企业级大数据平台，经过7年的快速演进，不断发展成熟，在邮政、交通、金融、政府等行业获得了大量的部署实施经验，同时向新生的大数据技术领域进行的拓展和探索。
5月15日，星环科技全面升级了大数据、云计算、AI为主的三条产品线，发布了Transwarp Data Hub 7.0。
作为星环科技一站式大数据平台TDH的最新版本——7.0版本，其一站式多模异构数据处理性能亮眼，打破了行业内普遍存在的不同数据库产品切换的不便利，彻底解决大数据发展的一大瓶颈。
星环科技研发总监吕程在回答中国软件网记者提问时认为，作为一个多模型的数据处理平台，TDH 7.0可以提供统一的数据操作/查询语言SQL、统一的数据计算引擎、统一的分布式存储管理系统、统一的资源管理框架，满足利用一个多模异构平台，处理多种数据的需求。
据介绍，TDH从上而下划分为五个层次：
最上层是SQL层，开发了统一的SQL引擎，兼容各种不同的SQL方言；
计算层，开发了统一的计算引擎，进行统一的计算任务优化和分发；
其下的存储模型层，TDH一个平台支持七种不同的存储模型，适用于不同的应用场景，包括：图存储Graph Storage、文档存储Document Storage、全文检索 Full-text Search、键值存储 Key-Value Storage、行列混合存储 Row-Columnar Storage、时空地理存储 Sequential Geospatial Storage、非结构化对象存储 Unstructured Object Storage。
存储管理层，开发了统一的存储管理引擎，提供数据块分布管理、数据多副本一致性管理、文件服务管理等功能；
最底层资源调度层，开发了统一的资源调度框架，通过容器化编排，统一调度计算、存储、网络资源。
星环科技通过自主研发，用TDH一站式平台解决方案，解决了大数据应用的四个V的问题：
大量化（volume），采用分布式计算和分布式存储框架，充分利用计算机集群的整体计算和存储能力，解决了数据大量化问题。
速度化（velocity）：采用实时流处理引擎，解决了用户对数据处理时效性的需求。
多样化（variety）：处理的数据类型不再局限于结构化数据，能同时处理文本数据、图数据等非结构化数据。
价值提升（value）：充分利用数据，用于多种数据模型的分析，提升数据价值。
3.统一的数据处理平台几大的优势
多模型的数据处理平台的核心是对外提供统一的SQL编程接口、统一的计算引擎，以及统一的综合式的存储管理系统和统一的销售框架。因此，星环TDH 7.0的优势体现在这几大特性的统一和融合上。
Transwarp Data Hub 7.0统一的数据处理平台支持超过7种不同的数据模型，支持结构化的数据和非结构化数据，支持KeyValue介质存储、全行搜索、排索引、图存储、图数据库、存储文档，也能够存储时空数据。这是TDH 7.0的第一大优势。
星环科技第一家提供了一个能够横跨多种数据模型的统一的计算引擎。虽然有不少公司也在尝试提供一个标准的数据接口，但是由于底层是不同的数据库，没用统一的计算引擎，虽然有统一的SQL接口，但是很难把不同的接口静态的路由到功能数据库上面去。因此，需要一个动态的计算引擎来动态地进行接口的调度，进行执行计划的统一的管理。
同时在星环科技的Transwarp Data Hub 7.0中也提出了一个统一的分布式管理系统，是实现数据分布管理以及数据一致性的数据管理系统，比过往使用HTVS效率更高、一致性更强。
在同一个平台上可以将一份数据存储成多种模型，用户在应用发生变化时能够自行地采用最佳的仓储模型来响应查询需求，运行效率会更高。同时因为一个平台处理多种数据模型，整运维成本、管理成本都会降低。
孙元浩说，未来的数据平台都应该是多模型的，但是用户使用起来更应该是像使用一个数据库一样使用。
从2013年开始，星环科技逐渐实现了从基于开源改造的产品组件到自主研发转变。
到2020年5月的Transwarp Data Hub 7.0问世时，星环科技已经实现了绝大部分组件自主研发，包括分析型数据库、流处理引擎、图数据库等。今年新推出的搜索引擎中采用了新的复本的一次性算法，对外提供标准的SQL接口。预计到2021年，会完成NoSQL数据库全系列改造，并融入分布式的存储管理系统。
孙元浩说，到2021年，星环科技的全系列产品都将实现自主研发。
（编辑：威海站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
