博客水木

随着大数据发展上升为国家战略，全国各地加速布局，开创了大数据产业发展的新局面。在2019年，我国大数据市场保持稳定增长，基础设施建设、人才培养、融合应用、行业规范等成为大数据发展的主基调。 那么，在本年度，中国及全球的大数据领域发生了哪些热度比较高的事件？数据观通过详细梳理，盘点了2019年大数据10大新闻...继续阅读

想要入坑数据科学而又不知如何开始吗？先看看这篇使用的数据科学入门数学指南吧！ 数学就像一个章鱼：它的「触手」可以触及到几乎所有学科。虽然有些学科只是沾了点数学的边，但有些学科则被数学的「触手」紧紧缠住。数据科学就属于后者。如果你想从事数据科学工作，你就必须解决数学问题。如果你已经获得了数学学位或...继续阅读

如何通过免费方式学习数据科学？数据科学家 Rebecca Vickery 从技术能力、理论和实践经验三个方面入手介绍了自己的经验。 在传统教育机构中读硕士学位的平均成本差不多在 3 万到 12 万美元之间。在线数据科学学位课程也不便宜，最低成本为 9000 美元。如果你想学数据科学，但支付不起这笔费用，应该怎么办呢？ 我在成...继续阅读

上次文摘菌给大家推荐了一个能让算法动起来的开源项目之后，有热心的读者给文摘菌推荐了另一个算法可视化的网站。文摘菌打开之后，立即被起画风所折服，所以决定探索一番。 先给出网站地址： https://visualgo.net/en 这个网站的名字叫做VisuAlgo，是2011年由Steven Halim博士所开发，最初的目的是帮助学生更好地理解数...继续阅读

大家都知道，Apache Hadoop的配置很繁琐，而且很零散，为此Cloudera公司提供了Clouder Manager工具，而且还封装了Apache Hadoop,flume,spark，hive,hbase等大数据产品形成自己特色的CDH产品，再使用CM进行安装，很大程度上方便了集群的搭建，并提供了集群的监控功能。 一、环境: 1.三台VMware虚拟机(一个做为主节点，两个...继续阅读

1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP=”127.0.0.1″ to spark-env.sh 2、java Kafka producer error:ERROR kafka.utils.Utils$ ...继续阅读

阿里云同一个区的的两个云服务器，通过内网进行文件传输，速度快不说（正常传输文件的速度能达到35m~50m/s），还不占用公网带宽。 阿里云云服务器有一个安全组策略，可能需要设置下 内网入、出方向的IP白名单： 如果你的云服务器没有上面的安全策略，可以忽略。 接下来要使用 scp 这个远程传输命令，只要是 Linux 系统，...继续阅读

经过十年的快速发展，高铁已成为人们日常出行的重要交通工具，“千里江陵一日还”早已变成现实，高铁改变的不仅是不断刷新的“中国速度”，更为区域与城市发展带来新的模式与机遇。 高铁以高速、大容量、集约型、通勤化的特征，在中等距离的出行上具备极强的竞争力。高铁从无到有的十年也是中国城镇化快速发展的十年，无...继续阅读

一、前言 这里记录一次将MySQL数据库中的表数据迁移到Oracle数据库中的全过程 ，使用工具 Navicat，版本 12.0.11 操作环境及所用工具： mysql5.7 oracle18c windows Navicat12.0.11 idea     二、开始移植 点击 工具 -> 数据传输     左边 源 标识mysql数据库 ， 右边 目标 标识要移植到的oracle数据库...继续阅读

因工作需要，需要将mysql里面的数据库结构以及表，导入到Oracle中，百度查阅了一番总结下，实现方式,主要用到一个软件 叫Convert Mysql to Oracle 第一步：下载软件 分享大牛的软件：百度网盘：https://pan.baidu.com/s/1C_dxkFoGh-tJd_TIPz740A 密码：cwd9 第二步：设置oci.dll的环境变量 主要是设置oci.dll在系统环境...继续阅读