数据中台的探讨

2019的云栖的OneData可能给数据中台点了一把火,有些企业可能难迁移到业务中台,但是数据中台还是好做的。 1.云栖数据中台在线视频 2.数据中台问答 2.1 数据中台和以前的大数据挖掘,数据仓库,BI有什么区别? 自然是一脉相承,以前的数据挖掘ETL,数据建模, 到数据仓库,BI报表,用户画像,运营决策,需要数据工程师大量萃取,分析和编码,输出报表,大屏等。随着互联网的不断发展,商业的竞争对数据的挖掘和响应要求越来越高,传统模式产出要T+N,但业务要求T+1。数据中台就是要傻瓜化的萃取,建模,服务输出。 2.2 业务中台和数据中台有什么联系,没有业务中台的话直接建设数据总台吗? 参考下阿里的双总台架构,数据总台的数据源可以是多种的,离线或在线,流或文件等等数据源。 给个飞鹤的数据源例子 主要是企业信息化要首先要有这些业务数据,有一定的数据积累,放在ERP,MES,CRM甚至excel都可以,独立于业务中台。……

阅读全文

企业信息化架构的选择,SaaS,ESB,中台

1.引言 企业的信息化应该是因地制宜,循序渐进的过程,好比骑自行车的人还想快些可能就学下电动车或者打辆的士,要一下让他开上小轿车就是不大现实了。在一些中小企业的"表哥",“表妹”, 对于不同数据源的excel文件用宏和vba能够快速灵活的处理和统计。信息化要能贴地气的解决业务困难,促进业务的发展,选择最适合自己的方案即可。 2.中小企业的选择 每个行业现在都有不少云端的产品,云ERP,云OA,云CRM,云MES等,协同办公也有钉钉,企业微信等APP,付出少量的成本如果能解决业务中6到8成的问题还是不错的选择。 这类SaaS产品也有一些代价,数据放在别人的云端,如果对数据敏感可考虑找些开源或免费的产品自己搭建。 3.中大型企业信息化的问题 3.1 采购或自研 大多的企业可能会选择采购,行业软件供应商技术和业务都有积累,企业专注于业务数据和流程定义,供应商定制系统。……

阅读全文

车联网云平台解决方案

资本开始砸钱在v2x(Vehicle to everything), 5G, IPV6也来了, 是时候一起探讨下物联网了。 1.通用物联网架构 参考下阿里云的架构 IotHub可以认为是设备接入的网关, 采集频率高的设备可以用长连接保持心跳(MQTT,HTTP/2等), 频率低的用http/1.……

阅读全文

[think in spring]spring mvc为什么默认使用jackson而不选择fastjson

阿里的fastjson 阿里的一些开源项目例如dubbo, druid, fastjson等在国内的影响力是蛮大的。今天谈下温少的fastjson, 它的流行源于它的快, 参考作者的谈fastjson内幕, 给出的测评是碾压jackson, 那时的jackson应该是1.x。https://www.iteye.com/blog/wenshao-1142031 笔者把fastjson整合到spring mvc 蛮多年, 当初还需要自己编写实现了泛型的 FastJsonHttpMessageConverter implements GenericHttpMessageConverter。 总体用法上觉得配置暴力些但使用还算简单, 全局的JSON属性, 基本都是静态方法调用, 传入一些Filter可过滤一些类的字段, 引用死循环简单设下属性也可避免。……

阅读全文

Libra从入门到精通或放弃

Facebook的Libra出来有一阵子, 追捧的有, 看衰的有,观望的有。笔者的观点是做总比不做好,数字货币也是社会发展的需要,官媒不也渐渐放出”数字人民币”的消息,天枰座的童虎还是不能小看的。 1.Libra是什么, 它的使命是什么? Libra是全球最大的社交媒体facebook开发的数字货币,它的使命是建立一套简单的全球货币和金融基础设施,为数十亿人服务。 目标远大,但人家有底气啊, 二十多亿的用户,剩下就应该是监管和利益分配的问题了。 中文白皮书都准备了,文案写得还蛮好的,自行补脑。https://libra.org/zh-CN/white-paper/ 2.Libra是怎么运营和管理的? Facebook一家独大?……

阅读全文

方舟编译器业余探讨

华为EMUI9.0升到9.1后系统UI的响应有一定的提升, 但没官方说的那么快,方舟编译器重新编译过的是系统应用, 结合新的文件系统EROFS, 硬把虚拟机跑的UI优化成这样,不简单了。顺路吐槽下月亮模式,这样搞拍摄都没乐趣了。 华为的修炼了深厚的内功,但营销也是炸天。鸿蒙昨天发布,方舟还不见踪影,有点吊人胃口的造势。 今天先谈下方舟,百度了下,JIT, AOT之类,说是跳过虚拟机,直接转成机器码,具体是怎样,没个定论。既然EMUI9.1都有方舟编译过的系统应用,去反编译去看下就好了。 网上有说华为市场的微博极速版是方舟编译的,我用jadx轻松反编译过, dex也在是正常不过的android apk。顺路扯下, 微博为了快可能没加壳, 就混淆了下, 通信串行化可能用的thrift, 应该蛮快。推送标准的集成了各大厂商的推送服务,统一推送联盟的推必达看来也是雷声大雨点小。 那就尝试找找官方的应用, 到华为应用华为下载时钟, 华为市场的apk, 能顺路反编译的多数都不是了。 最后只能尝试从手机去找系统级的应用,设置或者相机可能是。USB连接, 开发者模式, 打开debug, 用adb通过包名去找应该可以。百度现学现卖。……

阅读全文

高吞吐框架DISRUPTOR应用场景

多年前在并发编程网http://ifeve.com/disruptor了解到了自认为是黑科技的并发框架DISRUPTOR, 我当时在想NETTY为什么没有和它整合。后来了解过的log4j2, jstorm也慢慢有用到, 而一直以来也并没有机会去使用和了解细节, 大多时候觉得Doug Lea的JDK并发包也足够使用。而近期业务需要基于NETTY简单裹了一个类似vertx的luoying-server, https://github.com/zealzeng/luoying-server, 业务处理线程不适合在event loop中处理, 简单用有界的ThreadPoolExecutor作为worker pool, 想考虑把disruptor整合进来, 看了两天发觉对disruptor的使用场景产生了误解。……

阅读全文