Ink's Blog

Less is more

快速排序

思想快速排序是由东尼·霍尔所发展的一种排序算法。在平均状况下，排序 n 个项目要 Ο(nlogn) 次比较。在最坏状况下则需要 Ο(n2) 次比较，但这种状况并不常见。事实上，快速排序通常明显比其他 Ο(nlogn) 算法更快，因为它的内部循环（inner loop）可以在大部分的架构上很有效率地被实现出来。快速排序使用分治法（Divide and conquer）策略来把一个串行（list......

Posted by Ink Bai on 2019-01-29

归并排序

思想归并排序（MERGE-SORT）是利用归并的思想实现的排序方法，该算法采用经典的分治（divide-and-conquer）策略（分治法将问题分(divide)成一些小的问题然后递归求解，而治(conquer)的阶段则将分的阶段得到的各答案”修补”在一起，即分而治之)。 可以看到这种结构很像一棵完全二叉树，本文的归并排序我们采用自上而下的递归，也可以采用自下而上的迭代实现。分阶段可以理......

Posted by Ink Bai on 2019-01-29

希尔排序

思想希尔排序是希尔（Donald Shell）于1959年提出的一种排序算法。希尔排序也是一种插入排序，它是简单插入排序经过改进之后的一个更高效的版本，也称为缩小增量排序，同时该算法是冲破O(n2）的第一批算法之一。 希尔排序是基于插入排序的以下两点性质而提出改进方法的： 插入排序在对几乎已经排好序的数据操作时，效率高，即可以达到线性排序的效率； 但插入排序一般来说是低效的，因为插入排序每......

Posted by Ink Bai on 2019-01-29

插入排序

思想直接插入排序基本思想是每一步将一个待排序的记录，插入到前面已经排好序的有序序列中去，直到插完所有元素为止。 算法步骤 将第一待排序序列第一个元素看做一个有序序列，把第二个元素到最后一个元素当成是未排序序列。 从头到尾依次扫描未排序序列，将扫描到的每个元素插入有序序列的适当位置。 代码实现import java.util.Arrays;public class InsertionSor......

Posted by Ink Bai on 2019-01-29

选择排序

思想选择排序是最简单直观的一种算法，基本思想是每一趟从待排序的数据元素中选择最小（或最大）的一个元素作为首元素，直到所有元素排完为止。听起来是不是跟冒泡排序很相似，实际上还是有差别的，冒泡排序是两两比较，然后两两交换，而选择排序是维护一个最小值（或最大值），每个数都和这个最小值比较，如果比这个最小值小，那么最小值更新，否则最小值不变。 算法步骤 首先在未排序序列中找到最小（大）元素，存放到排......

Posted by Ink Bai on 2019-01-29

冒泡排序

思想冒泡排序（Bubble Sort）是一种简单直观的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。作为最简单的排序算法之一，冒泡排序给我的感觉就像 Abandon 在单词书里出现的感觉一样，每次都在第一页......

Posted by Ink Bai on 2019-01-29

Spark 部署要点

写完一个 Spark 应用程序以后，如何把它部署到集群上运行呢，这个部署的过程是怎样的呢，这里我主要以 Yarn 集群为主来讲解。 基本术语让我们先了解一下 Spark 中常用的一些基本术语： 术语 含义 Application 用户创建的 Spark 应用，会在集群中形成 driver 进程和 executor 进程。 Application jar 包含用户 Spa......

Posted by Ink Bai on 2018-10-24

ReentrantReadWriteLock 使用

ReentrantReadWriteLock 提供了读写锁机制可以方便我们更好实现并发场景，首先明确读写锁地特征：读锁与读锁不互斥，写锁与读锁互斥，写锁与写锁互斥。 依据此，我们就可以应用在这样地场景下：如果多个线程可以并行跑，那么我们就可以给它们都分配读锁；如果某个线程必须阻塞其他所有线程开跑，那我们就给它设置写锁。 用一个例子来讲解一下，现在共有四个线程，其中三个可以并行跑，一个必须阻塞......

Posted by Ink Bai on 2018-10-18

SBT 那些常用的功能

使用 Scala 也很久了，SBT 是最方便的构建工具，但是总是会遇到一些 SBT 引起的奇奇怪怪的问题，今天就好好研究一下 SBT 的常见用法，争取通过本文跨过大部分的坑。 SBT 常见命令clean：移除 target 文件夹下生成的所有文件。 compile：编译 src/main/scala，src/main/java 和项目根目录下的文件。 run：编译代码然后运行项目中的 m......

Posted by Ink Bai on 2018-08-20

Spark Streaming 集成 AWS Kinesis

关于 AWS Kinesis 的基本信息可以看我的这篇文章：使用 AWS Kinesis 收集流数据，本文主要讲解 Spark Streaming 如何集成 Kinesis 处理流数据。 配置 Spark Streaming 应用Spark Streaming 集成 Kinesis 的主要代码如下： import org.apache.spark.storage.StorageLevel......

Posted by Ink Bai on 2018-08-02

FEATURED TAGS
Scala 算法 Spark Spring
ABOUT ME

码渣，铲屎官，尤克里里爱好者，小时候的梦想是成为作家，老了以后希望可以当一个厨子 :)

FRIENDS