Ink's Blog

Less is more

快速排序

思想快速排序是由东尼·霍尔所发展的一种排序算法。在平均状况下,排序 n 个项目要 Ο(nlogn) 次比较。在最坏状况下则需要 Ο(n2) 次比较,但这种状况并不常见。事实上,快速排序通常明显比其他 Ο(nlogn) 算法更快,因为它的内部循环(inner loop)可以在大部分的架构上很有效率地被实现出来。快速排序使用分治法(Divide and conquer)策略来把一个串行(list......

归并排序

思想归并排序(MERGE-SORT)是利用归并的思想实现的排序方法,该算法采用经典的分治(divide-and-conquer)策略(分治法将问题分(divide)成一些小的问题然后递归求解,而治(conquer)的阶段则将分的阶段得到的各答案”修补”在一起,即分而治之)。 可以看到这种结构很像一棵完全二叉树,本文的归并排序我们采用自上而下的递归,也可以采用自下而上的迭代实现。分阶段可以理......

希尔排序

思想希尔排序是希尔(Donald Shell)于1959年提出的一种排序算法。希尔排序也是一种插入排序,它是简单插入排序经过改进之后的一个更高效的版本,也称为缩小增量排序,同时该算法是冲破O(n2)的第一批算法之一。 希尔排序是基于插入排序的以下两点性质而提出改进方法的: 插入排序在对几乎已经排好序的数据操作时,效率高,即可以达到线性排序的效率; 但插入排序一般来说是低效的,因为插入排序每......

插入排序

思想直接插入排序基本思想是每一步将一个待排序的记录,插入到前面已经排好序的有序序列中去,直到插完所有元素为止。 算法步骤 将第一待排序序列第一个元素看做一个有序序列,把第二个元素到最后一个元素当成是未排序序列。 从头到尾依次扫描未排序序列,将扫描到的每个元素插入有序序列的适当位置。 代码实现import java.util.Arrays;public class InsertionSor......

选择排序

思想选择排序是最简单直观的一种算法,基本思想是每一趟从待排序的数据元素中选择最小(或最大)的一个元素作为首元素,直到所有元素排完为止。听起来是不是跟冒泡排序很相似,实际上还是有差别的,冒泡排序是两两比较,然后两两交换,而选择排序是维护一个最小值(或最大值),每个数都和这个最小值比较,如果比这个最小值小,那么最小值更新,否则最小值不变。 算法步骤 首先在未排序序列中找到最小(大)元素,存放到排......

冒泡排序

思想冒泡排序(Bubble Sort)是一种简单直观的排序算法。它重复地走访过要排序的数列,一次比较两个元素,如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换,也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。作为最简单的排序算法之一,冒泡排序给我的感觉就像 Abandon 在单词书里出现的感觉一样,每次都在第一页......

Spark 部署要点

写完一个 Spark 应用程序以后,如何把它部署到集群上运行呢,这个部署的过程是怎样的呢,这里我主要以 Yarn 集群为主来讲解。 基本术语让我们先了解一下 Spark 中常用的一些基本术语: 术语 含义 Application 用户创建的 Spark 应用,会在集群中形成 driver 进程和 executor 进程。 Application jar 包含用户 Spa......

ReentrantReadWriteLock 使用

ReentrantReadWriteLock 提供了读写锁机制可以方便我们更好实现并发场景,首先明确读写锁地特征:读锁与读锁不互斥,写锁与读锁互斥,写锁与写锁互斥。 依据此,我们就可以应用在这样地场景下:如果多个线程可以并行跑,那么我们就可以给它们都分配读锁;如果某个线程必须阻塞其他所有线程开跑,那我们就给它设置写锁。 用一个例子来讲解一下,现在共有四个线程,其中三个可以并行跑,一个必须阻塞......

SBT 那些常用的功能

使用 Scala 也很久了,SBT 是最方便的构建工具,但是总是会遇到一些 SBT 引起的奇奇怪怪的问题,今天就好好研究一下 SBT 的常见用法,争取通过本文跨过大部分的坑。 SBT 常见命令clean:移除 target 文件夹下生成的所有文件。 compile:编译 src/main/scala,src/main/java 和项目根目录下的文件。 run:编译代码然后运行项目中的 m......

Spark Streaming 集成 AWS Kinesis

关于 AWS Kinesis 的基本信息可以看我的这篇文章:使用 AWS Kinesis 收集流数据,本文主要讲解 Spark Streaming 如何集成 Kinesis 处理流数据。 配置 Spark Streaming 应用Spark Streaming 集成 Kinesis 的主要代码如下: import org.apache.spark.storage.StorageLevel......