博客水木

随着大数据发展上升为国家战略，全国各地加速布局，开创了大数据产业发展的新局面。在2019年，我国大数据市场保持稳定增长，基础设施建设、人才培养、融合应用、行业规范等成为大数据发展的主基调。 那么，在本年度，中国及全球的大数据领域发生了哪些热度比较高的事件？数据观通过详细梳理，盘点了2019年大数据10大新闻...继续阅读

想要入坑数据科学而又不知如何开始吗？先看看这篇使用的数据科学入门数学指南吧！ 数学就像一个章鱼：它的「触手」可以触及到几乎所有学科。虽然有些学科只是沾了点数学的边，但有些学科则被数学的「触手」紧紧缠住。数据科学就属于后者。如果你想从事数据科学工作，你就必须解决数学问题。如果你已经获得了数学学位或...继续阅读

如何通过免费方式学习数据科学？数据科学家 Rebecca Vickery 从技术能力、理论和实践经验三个方面入手介绍了自己的经验。 在传统教育机构中读硕士学位的平均成本差不多在 3 万到 12 万美元之间。在线数据科学学位课程也不便宜，最低成本为 9000 美元。如果你想学数据科学，但支付不起这笔费用，应该怎么办呢？ 我在成...继续阅读

上次文摘菌给大家推荐了一个能让算法动起来的开源项目之后，有热心的读者给文摘菌推荐了另一个算法可视化的网站。文摘菌打开之后，立即被起画风所折服，所以决定探索一番。 先给出网站地址： https://visualgo.net/en 这个网站的名字叫做VisuAlgo，是2011年由Steven Halim博士所开发，最初的目的是帮助学生更好地理解数...继续阅读

大家都知道，Apache Hadoop的配置很繁琐，而且很零散，为此Cloudera公司提供了Clouder Manager工具，而且还封装了Apache Hadoop,flume,spark，hive,hbase等大数据产品形成自己特色的CDH产品，再使用CM进行安装，很大程度上方便了集群的搭建，并提供了集群的监控功能。 一、环境: 1.三台VMware虚拟机(一个做为主节点，两个...继续阅读

1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP=”127.0.0.1″ to spark-env.sh 2、java Kafka producer error:ERROR kafka.utils.Utils$ ...继续阅读

经过十年的快速发展，高铁已成为人们日常出行的重要交通工具，“千里江陵一日还”早已变成现实，高铁改变的不仅是不断刷新的“中国速度”，更为区域与城市发展带来新的模式与机遇。 高铁以高速、大容量、集约型、通勤化的特征，在中等距离的出行上具备极强的竞争力。高铁从无到有的十年也是中国城镇化快速发展的十年，无...继续阅读

1. sys和system用户的区别 system用户只能用normal身份登陆em。除非你对它授予了sysdba的系统权限或者syspoer系统权限。 sys用户具有“SYSDBA”或者“SYSOPER”权限，登陆em也只能用这两个身份，不能用normal。 —   最重要的区别，存储的数据的重要性不同 sys所有oracle的数据字典的基表和视图都存放在sys用户...继续阅读

1. Phoenix定义 Phoenix最早是saleforce的一个开源项目，后来成为 Apache 基金的顶级项目。 Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。 put the SQL back in NoSQL Phoenix完全使用 Java 编写，作为HBase内嵌的JDBC驱动。Phoe...继续阅读

Oracle凭借各种优势，在一些大型企业应用非常广泛，今天来分享一波Oracle12C 数据库安装过程，可以自己搭一个环境，练练手，学习学习。 首先说说我的搭建环境： centos 7 Oracle12c Oracle数据库的安装比较麻烦，但一般分为以下几个步骤： 下载Oracle 配置系统环境（过程最为复杂） 安装Oracle 防火墙等的配置 在这四个过...继续阅读